在平面直角坐标系中,点$P\left(2,-3\right)$在二次函数$y=ax^{2}+bx-3\left(a \gt 0\right)$的图象上,记该二次函数图象的对称轴为直线$x=m$.
$(1)$求$m$的值；
$(2)$设$y=ax^{2}+bx-3$的图象与$x$轴交点为$(x_{1}$,$0)$,$(x_{2}$,$0)(x_{1} \lt x_{2})$,若$4 \lt x_{2}-x_{1} \lt 6$,求$a$的取值范围.