B

$A$.百米跑世界纪录平均速度略大于$10m/s$，故$A$不符合实际；
$B$.物理课本长度约$26cm=260mm$，故$B$符合实际；
$C$.正常人脉搏跳动$70$次所用时间约为$1\min$，故$C$不符合实际；
$D$.人感觉舒适的房间温度约为$26^{\circ}\mathrm{C}$，故$D$不符合实际。
故选：$B$。