C

$A$、分子和原子都可以直接构成物质，分子不一定比原子大，只有在同一种分子中，分子比构成它的原子大，故$A$正确；
$B$、$1$滴水中大约有$1.67\times 10^{21}$个水分子，因此分子的质量和体积都很小，故$B$正确；
$C$、热胀冷缩是分子间间隔变化，分子本身大小不变，故$C$错误；
$D$、氧原子可以构成氧分子和臭氧分子，故$D$正确；
故选：$C$。