B

$A$、物质不一定是由分子构成的，也可能是由原子或离子构成的，故$A$说法错误。
$B$、通常分子的质量和体积都很小，故$B$说法正确。
$C$、水变成冰以后分子仍是在不断运动的，故$C$说法错误。
$D$、过氧化氢制取氧气属于化学变化，分子种类发生了变化，故$D$说法错误。
故选：$B$。