$\because$众数为$5$，
$\therefore a$，$b$中至少有一个是$5$，
$\because$平均数为$5$，
$\therefore \frac{1}{5}(4+a+5+6+b)=5$，
$\therefore a+b=10$，
$\therefore a$，$b$都是$5$，
$\therefore$这组数据的方差为$\frac{1}{5}×[{(4-5)}^{2}+3×{(5-5)}^{2}+{(6-5)}^{2}]=\frac{2}{5}$；
故答案为：$\frac{2}{5}$.

$\because$众数为$5$，
$\therefore a$，$b$中至少有一个是$5$，
$\because$平均数为$5$，
$\therefore \frac{1}{5}(4+a+5+6+b)=5$，
$\therefore a+b=10$，
$\therefore a$，$b$都是$5$，
$\therefore$这组数据的方差为$\frac{1}{5}×[{(4-5)}^{2}+3×{(5-5)}^{2}+{(6-5)}^{2}]=\frac{2}{5}$；
故答案为：$\frac{2}{5}$.