在数轴上互不重合的四个点$A$,$B$,$M$,$N$,如果$MA=2NB$或$MB=2NA$,那么点$M$,$N$叫做$A$,$B$两点的"$2$伴点".
已知点$A$,$B$在数轴上表示的数分别为$a$,$b$,且满足$|a+b|+|b-4|=0$.
$(1)$填空:$a=$______,$b=$______；
$(2)$若点$M$表示的数为$2$,点$N$在原点右侧,且点$M$,$N$为点$A$,$B$的"$2$伴点",求点$N$表示的数；
$(3)$如图,已知点$O$表示的数是$0$,把一根长为$3$个单位长度的木条$PQ$放在数轴上（点$Q$在点$P$的左侧）,使得点$P$与点$O$重合.木条$PQ$以每秒$2$个单位长度的速度沿数轴匀速向右运动,当木条全部驶出线段$OB$时,速度变为原来的一半,设木条运动时间为$t$.当点$P$,$Q$为点$A$,$B$的"$2$伴点"时,求满足条件的所有$t$的值.