D

$\because$点$B$到原点的距离是$9$，
$\therefore$点$B$代表的数是$9$或$-9$，
$\because$点$A$代表的数是$3$，
$\therefore |3-9|=6$，$|3-\left(-9\right)|=3+9=12$，
$\therefore A$，$B$两点间的距离是$6$或$12$，
故选：$D$.