$\because |a|=5$，$|b|=3$，
$\therefore a=\pm 5$，$b=\pm 3$.
$\because |a-b|=b-a$，
$\therefore a-b\leqslant 0$，
$\therefore a\leqslant b$，
$\therefore a=-5$，$b=3$或$-3$，
当$a=-5$，$b=3$时，$a-b=-5-3=-8$；
当$a=-5$，$b=-3$时，$a-b=-5-\left(-3\right)=-2$.
综上所述，$a-b$的值是$-8$或$-2$.

$\because |a|=5$，$|b|=3$，
$\therefore a=\pm 5$，$b=\pm 3$.
$\because |a-b|=b-a$，
$\therefore a-b\leqslant 0$，
$\therefore a\leqslant b$，
$\therefore a=-5$，$b=3$或$-3$，
当$a=-5$，$b=3$时，$a-b=-5-3=-8$；
当$a=-5$，$b=-3$时，$a-b=-5-\left(-3\right)=-2$.
综上所述，$a-b$的值是$-8$或$-2$.