（1）在$Rt\triangle ABC$中，$BC^{2}=AB^{2}-AC^{2}=5^{2}-3^{2}=16$，
$\therefore BC=4\left(cm\right)$；

$(2)$由题意知$BP=tcm$，
①当$\angle APB$为直角时，点$P$与点$C$重合，$BP=BC=4cm$，即$t=4$；
②当$\angle BAP$为直角时，$BP=tcm$，$CP=\left(t-4\right)cm$，$AC=3cm$，
在$Rt\triangle ACP$中，
$AP^{2}=3^{2}+\left(t-4\right)^{2}$，
在$Rt\triangle BAP$中，$AB^{2}+AP^{2}=BP^{2}$，
即：$5^{2}+[3^{2}+\left(t-4\right)^{2}]=t^{2}$，
解得：$t=\frac{25}{4}$，
故当$\triangle ABP$为直角三角形时，$t=4$或$t=\frac{25}{4}$；

$(3)$①当$AB=BP$时，$t=5$；
②当$AB=AP$时，$BP=2BC=8cm$，$t=8$；
③当$BP=AP$时，$AP=BP=tcm$，$CP=\left(4-t\right)cm$，$AC=3cm$，
在$Rt\triangle ACP$中，$AP^{2}=AC^{2}+CP^{2}$，
所以$t^{2}=3^{2}+\left(4-t\right)^{2}$，
解得：$t=\frac{25}{8}$，
综上所述：当$\triangle ABP$为等腰三角形时，$t=5$或$t=8$或$t=\frac{25}{8}$.

（1）在$Rt\triangle ABC$中，$BC^{2}=AB^{2}-AC^{2}=5^{2}-3^{2}=16$，
$\therefore BC=4\left(cm\right)$；

$(2)$由题意知$BP=tcm$，
①当$\angle APB$为直角时，点$P$与点$C$重合，$BP=BC=4cm$，即$t=4$；
②当$\angle BAP$为直角时，$BP=tcm$，$CP=\left(t-4\right)cm$，$AC=3cm$，
在$Rt\triangle ACP$中，
$AP^{2}=3^{2}+\left(t-4\right)^{2}$，
在$Rt\triangle BAP$中，$AB^{2}+AP^{2}=BP^{2}$，
即：$5^{2}+[3^{2}+\left(t-4\right)^{2}]=t^{2}$，
解得：$t=\frac{25}{4}$，
故当$\triangle ABP$为直角三角形时，$t=4$或$t=\frac{25}{4}$；

$(3)$①当$AB=BP$时，$t=5$；
②当$AB=AP$时，$BP=2BC=8cm$，$t=8$；
③当$BP=AP$时，$AP=BP=tcm$，$CP=\left(4-t\right)cm$，$AC=3cm$，
在$Rt\triangle ACP$中，$AP^{2}=AC^{2}+CP^{2}$，
所以$t^{2}=3^{2}+\left(4-t\right)^{2}$，
解得：$t=\frac{25}{8}$，
综上所述：当$\triangle ABP$为等腰三角形时，$t=5$或$t=8$或$t=\frac{25}{8}$.