C

$A$.正常眨一次眼所用的时间约为$0.3s$，故$A$错误；
$B$.一张考试卷厚度大约为$0.1mm$，故$B$错误；
$C$.冰箱冷藏室中的温度为$4^{\circ}\mathrm{C}\sim 8^{\circ}\mathrm{C}$，故$C$正确；
$D$.冬天淋浴热水的温度约为$40^{\circ}\mathrm{C}$，故$D$错误。
故选：$C$。