【数学概念】如图,$A$、$B$为数轴上不重合的两个点,$P$为数轴上任意一点,我们比较线段$PA$和$PB$的长度,将较短线段的长度定义为点$P$到线段$AB$的"靠近距离".特别地,若线段$PA$和$PB$的长度相等,则将线段$PA$或$PB$的长度定义为点$P$到线段$AB$的"靠近距离".

【概念理解】如图①,点$A$表示的数是$-4$,点$B$表示的数是$2$.
$(1)$若点$P$表示的数是$-2$,则点$P$到线段$AB$的"靠近距离"为______；
$(2)$若点$P$表示的数是$m$,点$P$到线段$AB$的"靠近距离"为$3$,则$m$的值为______$(写出所有结果)$；

【概念应用】
$(3)$如图②,在数轴上,点$P$表示的数是$-6$,点$A$表示的数是$-3$,点$B$表示的数是$2$.点$P$以每秒$2$个单位长度的速度沿数轴向右运动,同时点$B$以每秒$1$个单位长度的速度沿数轴向右运动.设运动的时间为$t$秒,当点$P$到线段$AB$的"靠近距离"为$2$时,求$t$的值.