如图,正方形$ABCD$和正方形$CEFG($其中$BD \gt 2CE)$,$BG$的延长线与直线$DE$交于点$H$.

$(1)$如图$1$,当点$G$在$CD$上时,求证:$BG=DE$,$BG\bot DE$；
$(2)$将正方形$CEFG$绕点$C$旋转一周.
①如图$2$,当点$E$在直线$CD$右侧时,判断$BH$,$CH$,$DH$的数量关系并证明；
②当$\angle DEC=45^{\circ}$时,若$AB=3$,$CE=1$,请直接写出线段$DH$的长.