A

根据题意可知，$|x|=2$，$|y|=4$，
$\therefore x=\pm 2$，$y=\pm 4$，
$\because x-y \lt 0$，
$\therefore x=2$，$y=4$或$x=-2$，$y=4$，
当$x=2$，$y=4$时，$x+y=6$，
当$x=-2$，$y=4$时，$x+y=2$.
故选：$A$.