如图,在平面直角坐标系中,已知点$A\left(0,2\right)$,将$OA$绕点$O$顺时针旋转$60^{\circ}$得到$OB$,点$B$在反比例函数$y=\frac{k}{x}$的图象上,连接$AB$.
$(1)$求$k$的值；
$(2)$若$P$为平面内一点,$Q$为双曲线$y=\frac{k}{x}$上一点,是否存在点$P$和点$Q$,使得四边形$ABPQ$是矩形?若存在,请求出所有符合条件的点$Q$的坐标；若不存在,请说明理由.