A

$\because |a|=3$，$|b|=2$，
$\therefore a=\pm 3$，$b=\pm 2$；
$\because a+b \gt 0$，
$\therefore a=3$，$b=\pm 2$.
当$a=3$，$b=-2$时，$a-b=5$；
当$a=3$，$b=2$时，$a-b=1$.
故$a-b$的值为$5$或$1$.
故选：$A$.