$\because$单项式$x^{a+3}y$与$-5xy^{b}$是同类项，
$\therefore a+3=1$，$b=1$，
解得$a=-2$，
$\therefore \left(a+b\right)^{2023}$
$=\left(-2+1\right)^{2023}$
$=-1$，
故答案为：$-1$.

$\because$单项式$x^{a+3}y$与$-5xy^{b}$是同类项，
$\therefore a+3=1$，$b=1$，
解得$a=-2$，
$\therefore \left(a+b\right)^{2023}$
$=\left(-2+1\right)^{2023}$
$=-1$，
故答案为：$-1$.