如图,在$Rt\triangle ABC$中,$\angle B=90^{\circ}$,$AB=3cm$,$BC=4cm$.点$P$从点$A$出发,以$1cm/s$的速度沿$AB$运动:同时,点$Q$从点$B$出发,$2cm/s$的速度沿$BC$运动.当点$Q$到达点$C$时,$P$、$Q$两点同时停止运动.设动点运动的时间为$t\left(s\right)$.
$(1)$当$t$为何值时,$\triangle PBQ$的面积为$2cm^{2}$；
$(2)$求四边形$PQCA$的面积$S$的最小值.