已知一次函数的图象经过$A\left(-1,3\right)$和$B\left(3,-1\right)$两点.
$(1)$求这个一次函数的表达式；
$(2)$求一次函数与坐标轴所围成的三角形的面积.