$(1)$证明：如图$1$，

$\because \triangle ABC$为等腰直角三角形，$\angle ABC=90^{\circ}$，
$\therefore AB=BC$，
$\because HD=BC$，
$\therefore HD=AB$，
$\because AE\bot AD$，
$\therefore \angle EAD=90^{\circ}$，
$\therefore \angle EAB+\angle BAD=90^{\circ}$，
$\because DH\bot AB$，
$\therefore \angle DHA=90^{\circ}$，
$\therefore \angle BAD+\angle HDA=90^{\circ}$，
$\therefore \angle EAB=\angle HDA$，
在$\triangle EAB$和$\triangle ADH$中，
$\left\{\begin{array}{l}{∠ABE=∠DHA}\\{AB=HD}\\{∠EAB=∠HDA}\end{array}\right.$，
$\therefore \triangle EAB$≌$\triangle ADH\left(ASA\right)$，
$\therefore AE=AD$；
$(2)$证明：如图$2$，在$DG$上截取$DN=EF$，连接$AN$，$FN$，$FN$与$AG$交于$M$，

$\because DH\bot AB$，
$\therefore \angle AHD=\angle DHG=90^{\circ}$，
$\therefore \angle HGD+\angle HDG=90^{\circ}$，
$\because \angle HGD=\angle ADH$，
$\therefore \angle ADH+\angle HDG=90^{\circ}$，
即$\angle ADG=90^{\circ}$，
$\because FE\bot AE$，
$\therefore \angle AEF=90^{\circ}$，
$\therefore \angle AEF=\angle ADH$，
在$\triangle AEF$和$\triangle ADN$中，
$\left\{\begin{array}{l}{AE=AD}\\{∠AEF=∠ADN}\\{EF=DN}\end{array}\right.$，
$\therefore \triangle AEF$≌$\triangle ADN\left(SAS\right)$，
$\therefore \angle EAF=\angle DAN$，$AF=AN$，
$\because AE\bot AD$，
$\therefore \angle EAD=90^{\circ}$，
即$\angle EAN+\angle DAN=90^{\circ}$，
$\therefore \angle EAN+\angle EAF=90^{\circ}$，
即$\angle FAN=90^{\circ}$，
$\therefore \triangle AFN$是等腰直角三角形，
$\because \triangle ABC$为等腰直角三角形，$\angle ABC=90^{\circ}$，
$\therefore \angle BAC=\angle BCA=45^{\circ}$，
即$\angle FAM=45^{\circ}$，
$\therefore \angle NAM=45^{\circ}=\angle FAM$，
$\therefore AM$平分$\angle FAN$，
$\therefore AM\bot FN$，$FM=MN$，
即$AG$垂直平分$FN$，
$\therefore GF=GN$，
$\because DN+GN=GD$，
$\therefore EF+GF=GD$；
$(3)$如图$3$，延长$GK$交$HD$于$S$，延长$DK$交$GH$于$T$，

$\because$点$K$在$\triangle GHD$内，$KG+KH+KD$的值最小，
$\therefore \angle GKD=\angle DKH=\angle GKH=120^{\circ}$，
$\therefore \angle KGH+\angle KHG=\angle HKS=60^{\circ}$，$\angle KHD+\angle KDH=\angle HKT=60^{\circ}$，
$\therefore \angle TKS=\angle HKS+\angle HKT=120^{\circ}$，
$\because \angle KHG+\angle KHD=\angle DHG=90^{\circ}$，
$\therefore \angle KGH+\angle KHG+\angle KHD+\angle KDH=120^{\circ}$，
$\therefore \angle KGH+\angle KDH=120^{\circ}-\left(\angle KHG+\angle KHD\right)=120^{\circ}-90^{\circ}=30^{\circ}$.

$(1)$证明：如图$1$，

$\because \triangle ABC$为等腰直角三角形，$\angle ABC=90^{\circ}$，
$\therefore AB=BC$，
$\because HD=BC$，
$\therefore HD=AB$，
$\because AE\bot AD$，
$\therefore \angle EAD=90^{\circ}$，
$\therefore \angle EAB+\angle BAD=90^{\circ}$，
$\because DH\bot AB$，
$\therefore \angle DHA=90^{\circ}$，
$\therefore \angle BAD+\angle HDA=90^{\circ}$，
$\therefore \angle EAB=\angle HDA$，
在$\triangle EAB$和$\triangle ADH$中，
$\left\{\begin{array}{l}{∠ABE=∠DHA}\\{AB=HD}\\{∠EAB=∠HDA}\end{array}\right.$，
$\therefore \triangle EAB$≌$\triangle ADH\left(ASA\right)$，
$\therefore AE=AD$；
$(2)$证明：如图$2$，在$DG$上截取$DN=EF$，连接$AN$，$FN$，$FN$与$AG$交于$M$，

$\because DH\bot AB$，
$\therefore \angle AHD=\angle DHG=90^{\circ}$，
$\therefore \angle HGD+\angle HDG=90^{\circ}$，
$\because \angle HGD=\angle ADH$，
$\therefore \angle ADH+\angle HDG=90^{\circ}$，
即$\angle ADG=90^{\circ}$，
$\because FE\bot AE$，
$\therefore \angle AEF=90^{\circ}$，
$\therefore \angle AEF=\angle ADH$，
在$\triangle AEF$和$\triangle ADN$中，
$\left\{\begin{array}{l}{AE=AD}\\{∠AEF=∠ADN}\\{EF=DN}\end{array}\right.$，
$\therefore \triangle AEF$≌$\triangle ADN\left(SAS\right)$，
$\therefore \angle EAF=\angle DAN$，$AF=AN$，
$\because AE\bot AD$，
$\therefore \angle EAD=90^{\circ}$，
即$\angle EAN+\angle DAN=90^{\circ}$，
$\therefore \angle EAN+\angle EAF=90^{\circ}$，
即$\angle FAN=90^{\circ}$，
$\therefore \triangle AFN$是等腰直角三角形，
$\because \triangle ABC$为等腰直角三角形，$\angle ABC=90^{\circ}$，
$\therefore \angle BAC=\angle BCA=45^{\circ}$，
即$\angle FAM=45^{\circ}$，
$\therefore \angle NAM=45^{\circ}=\angle FAM$，
$\therefore AM$平分$\angle FAN$，
$\therefore AM\bot FN$，$FM=MN$，
即$AG$垂直平分$FN$，
$\therefore GF=GN$，
$\because DN+GN=GD$，
$\therefore EF+GF=GD$；
$(3)$如图$3$，延长$GK$交$HD$于$S$，延长$DK$交$GH$于$T$，

$\because$点$K$在$\triangle GHD$内，$KG+KH+KD$的值最小，
$\therefore \angle GKD=\angle DKH=\angle GKH=120^{\circ}$，
$\therefore \angle KGH+\angle KHG=\angle HKS=60^{\circ}$，$\angle KHD+\angle KDH=\angle HKT=60^{\circ}$，
$\therefore \angle TKS=\angle HKS+\angle HKT=120^{\circ}$，
$\because \angle KHG+\angle KHD=\angle DHG=90^{\circ}$，
$\therefore \angle KGH+\angle KHG+\angle KHD+\angle KDH=120^{\circ}$，
$\therefore \angle KGH+\angle KDH=120^{\circ}-\left(\angle KHG+\angle KHD\right)=120^{\circ}-90^{\circ}=30^{\circ}$.