C

将直$y=2x+5$向下平移$4$个单位长度后的直线解析式为$y=2x+1$，
$\because$平移后的直线经过点$\left(-1,b\right)$，
$\therefore 2\times \left(-1\right)+1=b$，
$\therefore b=-1$，
故选：$C$.