将$A\left(-1,0\right)$，$B\left(3,0\right)$代入$y=ax^{2}+bx-3$，
得：$\left\{\begin{array}{l}{0=a-b-3}\\{0=9a+3b-3}\end{array}\right.$，
$\therefore \left\{\begin{array}{l}{a=1}\\{b=-2}\end{array}\right.$，
$\therefore y=x^{2}-2x-3$，
设点$P\left(0,n\right)$，
①当点$P$在$\left(0,-3\right)$下方时，
设$PC=m$，则$DP=4m$，
$\therefore C\left(m,n\right)$，$D\left(4m,n\right)$，
$\because$对称轴为直线$x=-\frac{-2}{2}=1$，
$\therefore \frac{m+4m}{2}=1$，
$\therefore m=\frac{2}{5}$，
$\therefore$点$C$的横坐标为$\frac{2}{5}$；
②当点$P$在$\left(0,-3\right)$上方时，
设$PC=m$，则$DP=4m$，
$\therefore C\left(-m,n\right)$，$D\left(4m,n\right)$，
$\therefore \frac{-m+4m}{2}=1$，
$\therefore m=\frac{2}{3}$，
$\therefore$点$C$的横坐标为$-\frac{2}{3}$；
综上所述，点$C$的横坐标为$\frac{2}{5}$或$-\frac{2}{3}$；
故答案为：$\frac{2}{5}$或$-\frac{2}{3}$；

将$A\left(-1,0\right)$，$B\left(3,0\right)$代入$y=ax^{2}+bx-3$，
得：$\left\{\begin{array}{l}{0=a-b-3}\\{0=9a+3b-3}\end{array}\right.$，
$\therefore \left\{\begin{array}{l}{a=1}\\{b=-2}\end{array}\right.$，
$\therefore y=x^{2}-2x-3$，
设点$P\left(0,n\right)$，
①当点$P$在$\left(0,-3\right)$下方时，
设$PC=m$，则$DP=4m$，
$\therefore C\left(m,n\right)$，$D\left(4m,n\right)$，
$\because$对称轴为直线$x=-\frac{-2}{2}=1$，
$\therefore \frac{m+4m}{2}=1$，
$\therefore m=\frac{2}{5}$，
$\therefore$点$C$的横坐标为$\frac{2}{5}$；
②当点$P$在$\left(0,-3\right)$上方时，
设$PC=m$，则$DP=4m$，
$\therefore C\left(-m,n\right)$，$D\left(4m,n\right)$，
$\therefore \frac{-m+4m}{2}=1$，
$\therefore m=\frac{2}{3}$，
$\therefore$点$C$的横坐标为$-\frac{2}{3}$；
综上所述，点$C$的横坐标为$\frac{2}{5}$或$-\frac{2}{3}$；
故答案为：$\frac{2}{5}$或$-\frac{2}{3}$；