D

$A$、牛奶是不溶性的小液滴等分散到液体中形成的，不均一、不稳定，不属于溶液，故选项错误。
$B$、黄泥水不均一、不稳定，不属于溶液，故选项错误。
$C$、冰水混合物是纯净物，不属于混合物，不是溶液，故选项错误。
$D$、澄清石灰水是氢氧化钙溶于水形成的，是均一、稳定的混合物，属于溶液，故选项正确。
故选：$D$。