$\left(1\right)\because a$，$b$是两个不相等的正整数，
$\therefore a^{2}+b$，$b^{2}+a$都是正整数，$a+b-1 \gt 0$.
$\because \frac{{a}^{2}+b}{{b}^{2}+a}$是整数，
$\therefore \frac{{a}^{2}+b}{{b}^{2}+a}\geqslant 1$，
$\therefore a^{2}+b\geqslant b^{2}+a$，
$\therefore a^{2}+b-b^{2}-a=\left(a+b\right)\left(a-b\right)-\left(a-b\right)=\left(a-b\right)\left(a+b-1\right)\geqslant 0$，
$\because a+b-1 \gt 0$，$a\neq b$，
$\therefore a \gt b$；

$(2)$设$\frac{{a}^{2}+b}{{b}^{2}+a}=k($其中$k \gt 1$，$k$为正整数），
则有$a^{2}+b=k(b^{2}+a)=kp^{2}$，
$\therefore \left(k-1\right)p^{2}=kp^{2}-p^{2}=a^{2}+b-b^{2}-a=\left(a-b\right)\left(a+b-1\right)$，
$\therefore p^{2}=\frac{(a-b)(a+b-1)}{k-1}$.
$\because P$是质数，
$\therefore p^{2}=1\times p^{2}=p\times p$.
①$\frac{a-b}{k-1}=1$且$a+b-1=p^{2}$，
此时$a+b-1=p^{2}=b^{2}+a$，整理得$b^{2}-b+1=0$，
方程无解.
②$\frac{a-b}{k-1}=p^{2}$且$a+b-1=1$，
此时$a+b=2$，与条件“$a$、$b$为不相等的正整数”矛盾；
③$\frac{a-b}{k-1}=a+b-1=p$，
此时$\left(a+b-1\right)^{2}=p^{2}=b^{2}+a$，
$\therefore a=\left(a+b-1\right)^{2}-b^{2}=\left(a+2b-1\right)\left(a-1\right)$，
$\therefore a+2b-1=\frac{a}{a-1}=1+\frac{1}{a-1}$.
$\because a+2b-1$为整数，
$\therefore \frac{1}{a-1}$也是整数，
$\therefore$正整数$a=2$.
$\because a \gt b$，
$\therefore$正整数$b=1$，
$\therefore p=a+b-1=2$，
$\therefore \frac{1}{k-1}=2$，
$\therefore k=\frac{3}{2}$，与$k$为正整数矛盾；
④$\frac{a+b-1}{k-1}=1$且$a-b=p^{2}$，
此时$a-b=p^{2}=b^{2}+a$，
整理得$b^{2}+b=0$，
解得$b_{1}=0$，$b_{2}=-1$，
与$b$为正整数矛盾；
⑤$\frac{a+b-1}{k-1}=p^{2}$且$a-b=1$，
此时$a=b+1$，
$k=\frac{{a}^{2}+b}{{b}^{2}+a}=\frac{(b+1)^{2}+b}{{b}^{2}+b+1}$
$=\frac{{b}^{2}+3b+1}{{b}^{2}+b+1}$
$=1+\frac{2b}{{b}^{2}+b+1}$
$\because b^{2}+b+1-2b=b^{2}-b+1=(b-\frac{1}{2})^{2}+\frac{3}{4} \gt 0$，
$\therefore b^{2}+b+1 \gt 2b \gt 0$，
$\therefore \frac{2b}{{b}^{2}+b+1} \lt 1$，
$\therefore k \lt 2$，
与“$k$是大于$1$的正整数”矛盾；
⑥$\frac{a+b-1}{k-1}=a-b=p$，
此时$\left(a-b\right)^{2}=p^{2}=b^{2}+a$，
整理得$a=2b+1$，
则$k=\frac{{a}^{2}+b}{{b}^{2}+a}=\frac{(2b+1)^{2}+b}{{b}^{2}+2b+1}=\frac{4{b}^{2}+5b+1}{{b}^{2}+2b+1}$
$=\frac{(4b+1)(b+1)}{(b+1)^{2}}=\frac{4b+1}{b+1}=4-\frac{3}{b+1}$.
$\because k$是大于$1$的正整数，
$\therefore \frac{3}{b+1}$是小于$3$的正整数，
$\therefore$整数$b+1=3$，
$\therefore b=2$，
$\therefore a=2b+1=5$，
$\therefore p=a-b=3$.
综上所述：$p=3$；

$(3)$由（2）可知，
只有当$\frac{a+b-1}{k-1}=a-b=p$时，存在正整数$a$、$b$及质数$p$，使得条件成立，
此时$\left(a-b\right)^{2}=p^{2}=b^{2}+a$，整理得$a=2b+1$，
则$k=\frac{{a}^{2}+b}{{b}^{2}+a}=\frac{(2b+1)^{2}+b}{{b}^{2}+2b+1}=\frac{4{b}^{2}+5b+1}{{b}^{2}+2b+1}$
$=\frac{(4b+1)(b+1)}{(b+1)^{2}}=\frac{4b+1}{b+1}=4-\frac{3}{b+1}$.
$\because k$是大于$1$的正整数，
$\therefore \frac{3}{b+1}$是小于$3$的正整数，
$\therefore$整数$b+1=3$，
$\therefore b=2$，
$\therefore a=2b+1=5$.

$\left(1\right)\because a$，$b$是两个不相等的正整数，
$\therefore a^{2}+b$，$b^{2}+a$都是正整数，$a+b-1 \gt 0$.
$\because \frac{{a}^{2}+b}{{b}^{2}+a}$是整数，
$\therefore \frac{{a}^{2}+b}{{b}^{2}+a}\geqslant 1$，
$\therefore a^{2}+b\geqslant b^{2}+a$，
$\therefore a^{2}+b-b^{2}-a=\left(a+b\right)\left(a-b\right)-\left(a-b\right)=\left(a-b\right)\left(a+b-1\right)\geqslant 0$，
$\because a+b-1 \gt 0$，$a\neq b$，
$\therefore a \gt b$；

$(2)$设$\frac{{a}^{2}+b}{{b}^{2}+a}=k($其中$k \gt 1$，$k$为正整数），
则有$a^{2}+b=k(b^{2}+a)=kp^{2}$，
$\therefore \left(k-1\right)p^{2}=kp^{2}-p^{2}=a^{2}+b-b^{2}-a=\left(a-b\right)\left(a+b-1\right)$，
$\therefore p^{2}=\frac{(a-b)(a+b-1)}{k-1}$.
$\because P$是质数，
$\therefore p^{2}=1\times p^{2}=p\times p$.
①$\frac{a-b}{k-1}=1$且$a+b-1=p^{2}$，
此时$a+b-1=p^{2}=b^{2}+a$，整理得$b^{2}-b+1=0$，
方程无解.
②$\frac{a-b}{k-1}=p^{2}$且$a+b-1=1$，
此时$a+b=2$，与条件“$a$、$b$为不相等的正整数”矛盾；
③$\frac{a-b}{k-1}=a+b-1=p$，
此时$\left(a+b-1\right)^{2}=p^{2}=b^{2}+a$，
$\therefore a=\left(a+b-1\right)^{2}-b^{2}=\left(a+2b-1\right)\left(a-1\right)$，
$\therefore a+2b-1=\frac{a}{a-1}=1+\frac{1}{a-1}$.
$\because a+2b-1$为整数，
$\therefore \frac{1}{a-1}$也是整数，
$\therefore$正整数$a=2$.
$\because a \gt b$，
$\therefore$正整数$b=1$，
$\therefore p=a+b-1=2$，
$\therefore \frac{1}{k-1}=2$，
$\therefore k=\frac{3}{2}$，与$k$为正整数矛盾；
④$\frac{a+b-1}{k-1}=1$且$a-b=p^{2}$，
此时$a-b=p^{2}=b^{2}+a$，
整理得$b^{2}+b=0$，
解得$b_{1}=0$，$b_{2}=-1$，
与$b$为正整数矛盾；
⑤$\frac{a+b-1}{k-1}=p^{2}$且$a-b=1$，
此时$a=b+1$，
$k=\frac{{a}^{2}+b}{{b}^{2}+a}=\frac{(b+1)^{2}+b}{{b}^{2}+b+1}$
$=\frac{{b}^{2}+3b+1}{{b}^{2}+b+1}$
$=1+\frac{2b}{{b}^{2}+b+1}$
$\because b^{2}+b+1-2b=b^{2}-b+1=(b-\frac{1}{2})^{2}+\frac{3}{4} \gt 0$，
$\therefore b^{2}+b+1 \gt 2b \gt 0$，
$\therefore \frac{2b}{{b}^{2}+b+1} \lt 1$，
$\therefore k \lt 2$，
与“$k$是大于$1$的正整数”矛盾；
⑥$\frac{a+b-1}{k-1}=a-b=p$，
此时$\left(a-b\right)^{2}=p^{2}=b^{2}+a$，
整理得$a=2b+1$，
则$k=\frac{{a}^{2}+b}{{b}^{2}+a}=\frac{(2b+1)^{2}+b}{{b}^{2}+2b+1}=\frac{4{b}^{2}+5b+1}{{b}^{2}+2b+1}$
$=\frac{(4b+1)(b+1)}{(b+1)^{2}}=\frac{4b+1}{b+1}=4-\frac{3}{b+1}$.
$\because k$是大于$1$的正整数，
$\therefore \frac{3}{b+1}$是小于$3$的正整数，
$\therefore$整数$b+1=3$，
$\therefore b=2$，
$\therefore a=2b+1=5$，
$\therefore p=a-b=3$.
综上所述：$p=3$；

$(3)$由（2）可知，
只有当$\frac{a+b-1}{k-1}=a-b=p$时，存在正整数$a$、$b$及质数$p$，使得条件成立，
此时$\left(a-b\right)^{2}=p^{2}=b^{2}+a$，整理得$a=2b+1$，
则$k=\frac{{a}^{2}+b}{{b}^{2}+a}=\frac{(2b+1)^{2}+b}{{b}^{2}+2b+1}=\frac{4{b}^{2}+5b+1}{{b}^{2}+2b+1}$
$=\frac{(4b+1)(b+1)}{(b+1)^{2}}=\frac{4b+1}{b+1}=4-\frac{3}{b+1}$.
$\because k$是大于$1$的正整数，
$\therefore \frac{3}{b+1}$是小于$3$的正整数，
$\therefore$整数$b+1=3$，
$\therefore b=2$，
$\therefore a=2b+1=5$.