$\because AD$是$\triangle ABC$的中线，

$\therefore S_{\triangle ABD}=\dfrac{1}{2}S_{\triangle ABC}$，

$\because BE$是$\triangle ABD$的中线，

$\therefore S_{\triangle BED}=\dfrac{1}{2}S_{\triangle ABD}$，

设点$E$到$BC$边的距离为$h$，

$\because \triangle ABC$的面积为$20$，

$\therefore \triangle EBD$的面积是$20\div 4=5$，

$\therefore \dfrac{1}{2}\cdot DB\cdot h=5$，

$\therefore \dfrac{1}{2}\times 5\cdot h=5$，

$\therefore h=2$.

即点$E$到$BC$边的距离为$2$.

故答案为：$2$.

$\because AD$是$\triangle ABC$的中线，

$\therefore S_{\triangle ABD}=\dfrac{1}{2}S_{\triangle ABC}$，

$\because BE$是$\triangle ABD$的中线，

$\therefore S_{\triangle BED}=\dfrac{1}{2}S_{\triangle ABD}$，

设点$E$到$BC$边的距离为$h$，

$\because \triangle ABC$的面积为$20$，

$\therefore \triangle EBD$的面积是$20\div 4=5$，

$\therefore \dfrac{1}{2}\cdot DB\cdot h=5$，

$\therefore \dfrac{1}{2}\times 5\cdot h=5$，

$\therefore h=2$.

即点$E$到$BC$边的距离为$2$.

故答案为：$2$.