$\because$点$P\left(a+1,2a-5\right)$关于$x$轴对称点在第一象限，

$\therefore$点$P$在第四象限，

$\therefore \left\{\begin{array}{}a+1 \gt 0 ① \\ 2a-5 \lt 0 ②\end{array}\right.$，

解不等式①得，$a \gt -1$，

解不等式②得，$a \lt \dfrac{5}{2}$，

所以，$a$的取值范围是$-1 \lt a \lt \dfrac{5}{2}$，

$\because a$是整数，

$\therefore a=0$、$1$、$2$.

故答案为：$0$、$1$、$2$.

$\because$点$P\left(a+1,2a-5\right)$关于$x$轴对称点在第一象限，

$\therefore$点$P$在第四象限，

$\therefore \left\{\begin{array}{}a+1 \gt 0 ① \\ 2a-5 \lt 0 ②\end{array}\right.$，

解不等式①得，$a \gt -1$，

解不等式②得，$a \lt \dfrac{5}{2}$，

所以，$a$的取值范围是$-1 \lt a \lt \dfrac{5}{2}$，

$\because a$是整数，

$\therefore a=0$、$1$、$2$.

故答案为：$0$、$1$、$2$.