B

$A$、物体的内能减少，它的温度不一定降低；比如，晶体凝固时放热，内能减少，但温度不变，故$A$错误；
$B$、物体的温度不变，它的内能可能增加；比如，晶体熔化时吸热，温度不变，但内能增加，故$B$正确；
$C$、物体内能增加，可能是从外界吸收了热量，也可能是外界对物体做了功，故$C$错误；
$D$、内能的大小与物体的质量、温度和状态有关，只知道温度的高低，并不能判断内能的大小，故$D$错误。
故选：$B$。