B

$\because$直线$y=\frac{1}{2}x+b$经过点$\left(4,-1\right)$，
$\therefore -1=2+b$，
解得$b=-3$，
$\therefore$直线经过一、三、四象限，
$\therefore$直线$y=2x+b$的图象不经过第二象限，
故选：$B$.