某物流公司的一辆货车$A$从乙地出发运送货物至甲地，$1$小时后，这家公司的一辆货车$B$从甲地出发送货至乙地，货车$A$、货车$B$距甲地的距离$y(km)$与时间$x(h)$之间的关系如图所示．
$(1)$当$1\leqslant x\leqslant 5$时，求货车$B$距甲地的距离$y$与时间$x$的关系式；
$(2)$求货车$B$到乙地后，货车$A$还需多长时间到达甲地．