D

$\because |a|=3$，$|b|=2$，
$\therefore a=\pm 3$，$b=\pm 2$，
$\because a+b \lt 0$，
$\therefore a=-3$，$b=2$或$a=-3$，$b=-2$，
当$a=-3$，$b=2$时，$a-b=-3-2=-3+\left(-2\right)=-5$；
当$a=-3$，$b=-2$时，$a-b=-3-\left(-2\right)=-3+2=-1$；
综上，$a-b$的值为$-5$或$-1$，
故选：$D$.