我们规定；若关于$x$的一元一次方程$a+x=b\left(a\neq 0\right)$的解为$x=\frac{b}{a}$,则称该方程为"商解方程".例如:$2+x=4$的解为$x=2$且$x=\frac{4}{2}$,则方程$2+x=4$是"商解方程".请回答下列问题:
$(1)$判断$4+x=\frac{16}{3}$是不是"商解方程",并说明理由.
$(2)$若关于$x$的一元一次方程$6+x=m+3$是"商解方程",求$m$的值.