D

$A$、构成金刚石、石墨的原子数目可能不同，但不能决定物理性质，故$A$不正确；
$B$、构成它们的原子的电子层数相同，且每一层上的电子数也相同，原子的结构相同，故$B$不正确；
$C$、金刚石、石墨是由碳原子构成，构成它们的原子大小相同，故$C$不正确；
$D$、金刚石、石墨的化学性质相似，物理性质却有很大差异，原因是构成它们的原子排列的方式不同，故$D$正确。
故选：$D$。