C

关于$y$轴的对称点的坐标特点：横坐标互为相反数，纵坐标不变.
$\because$点$A\left(2x-1,3\right)$与点$B\left(-1,y-1\right)$关于$y$轴对称，
$\therefore 2x-1=1$，$y-1=3$，
$\therefore x=1$，$y=4$，
$\therefore x+y=5$，
故选：$C$.