如图,在平面直角坐标系中,函数$y=-x+4$的图象与$x$轴,$y$轴分别交于点$A$,$B$,与函数$y=\frac{1}{3}x+b$的图象交于点$C\left(-2,m\right)$.
$(1)$求$m$和$b$的值；
$(2)$函数$y=\frac{1}{3}x+b$的图象与$x$轴交于点$D$,点$E$从点$D$出发沿$DA$方向,以每秒$2$个单位长度匀速运动到点$A($到$A$停止运动).设点$E$的运动时间为$t$秒.
①当$\triangle ACE$的面积为$6$时,求$t$的值；
②在点$E$运动过程中,是否存在$t$的值,使$\triangle ACE$为直角三角形?若存在,直接写出$t$的值；若不存在,请说明理由.