D

原数据的$3$，$4$，$5$，$4$的平均数为$\frac{3+4+4+5}{4}=4$，中位数为$4$，众数为$4$，方差为$\frac{1}{4}\times [\left(3-4\right)^{2}+\left(4-4\right)^{2}\times 2+\left(5-4\right)^{2}]=0.5$；
新数据$3$，$4$，$4$，$4$，$5$的平均数为$\frac{3+4+4+4+5}{5}=4$，中位数为$4$，众数为$4$，方差为$\frac{1}{5}\times [\left(3-4\right)^{2}+\left(4-4\right)^{2}\times 3+\left(5-4\right)^{2}]=0.4$；
所以发生变化的是方差，
故选：$D$.