$\because$抛物线$y=ax^{2}-4ax-3($其中$a \gt 0$，$a$为常数），
$\therefore$对称轴为直线$x=-\frac{-4a}{2a}=2$，
$\therefore$当$4\leqslant x \lt 5$时，$y$随$x$的增大而增大，
$\therefore$当$x=4$时，$y=-3$，
$x=5$时，$y=5a-3$，
$\because$当$4\leqslant x \lt 5$时，对应的函数值$y$恰好有$3$个整数值，
$\therefore$它的三个整数分别是$-3$，$-2$，$-1$，
$\therefore -1\leqslant 5a-3\leqslant 0$，
$\therefore \frac{2}{5}＜a≤\frac{3}{5}$；
故答案为：$\frac{2}{5}＜a≤\frac{3}{5}$.

$\because$抛物线$y=ax^{2}-4ax-3($其中$a \gt 0$，$a$为常数），
$\therefore$对称轴为直线$x=-\frac{-4a}{2a}=2$，
$\therefore$当$4\leqslant x \lt 5$时，$y$随$x$的增大而增大，
$\therefore$当$x=4$时，$y=-3$，
$x=5$时，$y=5a-3$，
$\because$当$4\leqslant x \lt 5$时，对应的函数值$y$恰好有$3$个整数值，
$\therefore$它的三个整数分别是$-3$，$-2$，$-1$，
$\therefore -1\leqslant 5a-3\leqslant 0$，
$\therefore \frac{2}{5}＜a≤\frac{3}{5}$；
故答案为：$\frac{2}{5}＜a≤\frac{3}{5}$.