由图可知：
$1$和$6$相对，$2$和$5$相对，$3$和$4$相对，
将正方体沿如图所示的顺时针方向滚动，每滚动$90^{\circ}$算一次，正方体朝下一面的点数依次为$2$，$3$，$5$，$4$，且依次循环，
$\because 2024\div 4=506$，
$\therefore$滚动第$2024$次后，骰子朝下一面的点数是：$4$，
故答案为：$4$.

由图可知：
$1$和$6$相对，$2$和$5$相对，$3$和$4$相对，
将正方体沿如图所示的顺时针方向滚动，每滚动$90^{\circ}$算一次，正方体朝下一面的点数依次为$2$，$3$，$5$，$4$，且依次循环，
$\because 2024\div 4=506$，
$\therefore$滚动第$2024$次后，骰子朝下一面的点数是：$4$，
故答案为：$4$.