如图,已知二次函数$y=-x^{2}+bx+c$的图象经过点$A\left(3,1\right)$,点$B\left(0,4\right)$.
$(1)$求该二次函数的表达式及顶点坐标；
$(2)$点$C\left(m,n\right)$在该二次函数图象上.
①当$m=-1$时,求$n$的值；
②当$m\leqslant x\leqslant 3$时,$n$最大值为$5$,最小值为$1$,请根据图象直接写出$m$的取值范围.