C

$A$.一般情况下，学校教学楼每层楼高约为$3.5m$，故$A$不符合题意；
$B$.通常情况下，中学生跑完$800$米的时间为$3.5\min$左右，故$B$不符合题意；
$C$.一般情况下，中学生步行的速度约为$1.1m/s$，约合$4km/h$，故$C$符合题意；
$D$.物理课本一张纸的厚度约为$0.1 mm$，“手撕钢”厚度大约是物理课本一张纸厚度的五分之一，则“手撕钢”厚度大约是$0.02mm$，故$D$不符合题意。
故选：$C$。