D

$A$、实心球从状态$1$到状态$2$的过程中，运动员对球有推力，且球的运动方向与推力的方向相同，故运动员对实心球做功，故$A$错误。
$B$、实心球从状态$2$到状态$3$的过程中，运动员对球有推力，且球的运动方向与推力的方向相同，故运动员对实心球做功，故$B$错误。
$C$、实心球从状态$3$到状态$4$的过程中，运动员对球有推力，且球的运动方向与推力的方向相同，故运动员对实心球做功，故$C$错误。
$D$、实心球离开手后，不再受手的推力，虽然有移动的距离，但运动员对实心球没有做功，故$D$正确。
故选：$D$。