分三种情况：
①如图$1$，当$\angle AMB=90^{\circ}$时，

$\because O$是$AB$的中点，$AB=8$，
$\therefore OM=OB=4$，
又$\because \angle AOC=\angle BOM=60^{\circ}$，
$\therefore \triangle BOM$是等边三角形，
$\therefore BM=BO=4$，
在$Rt\triangle ABM$中，$AM=\sqrt{A{B}^{2}-B{M}^{2}}=\sqrt{{8}^{2}-{4}^{2}}=4\sqrt{3}$；
②如图$2$，当$\angle AMB=90^{\circ}$时，

$\because O$是$AB$的中点，$AB=8$，
$\therefore OM=OA=4$，
又$\because \angle AOC=60^{\circ}$，
$\therefore \triangle AOM$是等边三角形，
$\therefore AM=AO=4$；
③如图$3$，当$\angle ABM=90^{\circ}$时，

$\because \angle BOM=\angle AOC=60^{\circ}$，
$\therefore \angle BMO=30^{\circ}$，
$\therefore MO=2BO=2\times 4=8$，
在$Rt\triangle BOM$中，$BM=\sqrt{M{O}^{2}-O{B}^{2}}=\sqrt{{8}^{2}-{4}^{2}}=4\sqrt{3}$，
在$Rt\triangle ABM$中，$AM=\sqrt{A{B}^{2}+B{M}^{2}}=\sqrt{{8}^{2}+(4\sqrt{3})^{2}}=4\sqrt{7}$，
综上所述，当$\triangle ABM$为直角三角形时，$AM$的长为$4\sqrt{3}$或$4\sqrt{7}$或$4$.
故答案为：$4\sqrt{3}$或$4\sqrt{7}$或$4$.

分三种情况：
①如图$1$，当$\angle AMB=90^{\circ}$时，

$\because O$是$AB$的中点，$AB=8$，
$\therefore OM=OB=4$，
又$\because \angle AOC=\angle BOM=60^{\circ}$，
$\therefore \triangle BOM$是等边三角形，
$\therefore BM=BO=4$，
在$Rt\triangle ABM$中，$AM=\sqrt{A{B}^{2}-B{M}^{2}}=\sqrt{{8}^{2}-{4}^{2}}=4\sqrt{3}$；
②如图$2$，当$\angle AMB=90^{\circ}$时，

$\because O$是$AB$的中点，$AB=8$，
$\therefore OM=OA=4$，
又$\because \angle AOC=60^{\circ}$，
$\therefore \triangle AOM$是等边三角形，
$\therefore AM=AO=4$；
③如图$3$，当$\angle ABM=90^{\circ}$时，

$\because \angle BOM=\angle AOC=60^{\circ}$，
$\therefore \angle BMO=30^{\circ}$，
$\therefore MO=2BO=2\times 4=8$，
在$Rt\triangle BOM$中，$BM=\sqrt{M{O}^{2}-O{B}^{2}}=\sqrt{{8}^{2}-{4}^{2}}=4\sqrt{3}$，
在$Rt\triangle ABM$中，$AM=\sqrt{A{B}^{2}+B{M}^{2}}=\sqrt{{8}^{2}+(4\sqrt{3})^{2}}=4\sqrt{7}$，
综上所述，当$\triangle ABM$为直角三角形时，$AM$的长为$4\sqrt{3}$或$4\sqrt{7}$或$4$.
故答案为：$4\sqrt{3}$或$4\sqrt{7}$或$4$.