如图,正方形$ABCD$和正方形$DEFG$有公共顶点$D$.
$(1)$如图$1$,连接$AG$和$CE$,直接写出$AG$和$CE$的关系______；
$(2)$如图$2$,连接$AE$,$M$为$AE$中点,连接$DM$、$CG$,探究$DM$、$CG$的关系,并说明理由；
$(3)$如图$3$,若$AB=4$,$DE=2$,直线$AG$与直线$CE$交于点$P$,请直接写出$AP$的取值范围.