D

$x$的相反数是$3$，则$x=-3$，
$|y|=5$，$y=\pm 5$，
$\therefore x+y=-3+5=2$，或$x+y=-3-5=-8$.
则$x+y$的值为$-8$或$2$.
故选：$D$.