C

如图，连接$CF$，过点$P$作$PH\bot PC$交$CD$于$H$，

$\because$四边形$ABCD$和四边形$DPFG$是正方形，
$\therefore PD=PF$，$\angle DPF=\angle HPC=90^{\circ}$，$\angle ACB=\angle ACD=45^{\circ}$，
$\therefore \angle DPH=\angle CPF$，$\angle PCH=\angle PHC=45^{\circ}$，
$\therefore PH=PC$，$\angle PHD=135^{\circ}$，
$\therefore \triangle DPH$≌$\triangle FPC\left(SAS\right)$，
$\therefore \angle PHD=\angle PCF=135^{\circ}$，
$\therefore \angle ACB+\angle PCF=180^{\circ}$，
$\therefore$点$B$，点$C$，点$F$三点共线，故①正确；
$\because \angle CPD=\angle CAD+\angle ADP$，$\angle CAD=45^{\circ}$，$\angle CPD=135^{\circ}$，
$\therefore \angle ADP=90^{\circ}$，
则点$P$与点$C$重合，
此时$\angle CPD$不存在，故②错误；
如图，取$AD$的中点$N$，连接$PN$，

$\because$点$N$是$AD$的中点，点$E$是$CD$中点，
$\therefore AN=DE=DN=2$，
$\because \angle ADC=\angle PDG=90^{\circ}$，
$\therefore \angle ADP=\angle GDE$，
又$\because DP=DG$，
$\therefore \triangle DPN$≌$\triangle DGE\left(SAS\right)$，
$\therefore EG=PN$，
$\because$点$P$是线段$AC$上一点，
$\therefore$当$NP\bot AC$时，$NP$有最小值为$\sqrt{2}$，
$\therefore EG$有最小值为$\sqrt{2}$，故③正确；
$\because AD=CD=4$，
$\therefore AC=\sqrt{2}AD=4\sqrt{2}$，
当点$P$是$AC$中点时，$AP=PD=PC=2\sqrt{2}$，则$\triangle PCD$是等腰三角形，
当$CP=CD=4$时，$\triangle PCD$是等腰三角形，
$\therefore AP=4\sqrt{2}-4$，
当点$P$是$AC$起点$A$的时候，$AP=0$，$\triangle PCD$是等腰三角形，
故④不正确，
故选：$C$.