$\because$数据$3$，$x$，$4$，$5$的众数和中位数都是$4$，
$\therefore x=4$，
$\therefore$这组数据的平均数是$\left(3+4+4+5\right)\div 4=4$，
则方差为$\frac{1}{4}\times [\left(3-4\right)^{2}+\left(4-4\right)^{2}+\left(4-4\right)^{2}+\left(5-4\right)^{2}]=0.5$，
故答案为：$0.5$.

$\because$数据$3$，$x$，$4$，$5$的众数和中位数都是$4$，
$\therefore x=4$，
$\therefore$这组数据的平均数是$\left(3+4+4+5\right)\div 4=4$，
则方差为$\frac{1}{4}\times [\left(3-4\right)^{2}+\left(4-4\right)^{2}+\left(4-4\right)^{2}+\left(5-4\right)^{2}]=0.5$，
故答案为：$0.5$.