$\because$直线$y=kx+b$平行于直线$y=2x-3$，
$\therefore k=2$，
$\because$直线$y=kx+b$过点$\left(0,-1\right)$，
$\therefore -1=b$，
$\therefore$一次函数解析式为：$y=2x-1$.
故答案为：$y=2x-1$.

$\because$直线$y=kx+b$平行于直线$y=2x-3$，
$\therefore k=2$，
$\because$直线$y=kx+b$过点$\left(0,-1\right)$，
$\therefore -1=b$，
$\therefore$一次函数解析式为：$y=2x-1$.
故答案为：$y=2x-1$.