A

原数据的$1$、$3$、$3$、$5$的平均数为$\frac{1+3+3+5}{4}=3$，中位数为$\frac{3+3}{2}=3$，众数为$3$，方差为$\frac{1}{4}\times [\left(1-3\right)^{2}+\left(3-3\right)^{2}\times 2+\left(5-3\right)^{2}]=2$；
新数据$1$、$3$、$3$、$3$、$5$的平均数为$\frac{1+3+3+3+5}{5}=3$，中位数为$3$，众数为$3$，方差为$\frac{1}{5}\times [\left(1-3\right)^{2}+\left(3-3\right)^{2}\times 3+\left(5-3\right)^{2}]=1.6$；
$\therefore$添加一个数据$3$，方差发生变化，
故选：$A$.