根据题意设$B\left(2m,2m\right)$，则$A\left(2m,0\right)$，
$\because$点$C$为斜边$OB$的中点，
$\therefore C\left(m,m\right)$，
$\because$反比例函数$y=\frac{k}{x}(k \gt 0,x \gt 0)$的图象过点$C$，
$\therefore k=m\cdot m=m^{2}$，
$\because \angle OAB=90^{\circ}$，
$\therefore D$的横坐标为$2m$，
$\because$反比例函数$y=\frac{k}{x}(k \gt 0,x \gt 0)$的图象过点$D$，
$\therefore D$的纵坐标为$\frac{m}{2}$，
作$CE\bot x$轴于$E$，
$\because S_{\triangle COE}=S_{\triangle AOD}$，
$S_{\triangle OCD}=S_{\triangle COE}+S_{梯形ADCE}-S_{\triangle AOD}=S_{梯形ADCE}$，$S_{\triangle OCD}=3$，
$\therefore \frac{1}{2}\left(AD+CE\right)\cdot AE=3$，即$\frac{1}{2}(\frac{m}{2}+m)\cdot \left(2m-m\right)=3$，
$\therefore m^{2}=4$，
$\therefore k=m^{2}=4$，
故答案为：$4$.

根据题意设$B\left(2m,2m\right)$，则$A\left(2m,0\right)$，
$\because$点$C$为斜边$OB$的中点，
$\therefore C\left(m,m\right)$，
$\because$反比例函数$y=\frac{k}{x}(k \gt 0,x \gt 0)$的图象过点$C$，
$\therefore k=m\cdot m=m^{2}$，
$\because \angle OAB=90^{\circ}$，
$\therefore D$的横坐标为$2m$，
$\because$反比例函数$y=\frac{k}{x}(k \gt 0,x \gt 0)$的图象过点$D$，
$\therefore D$的纵坐标为$\frac{m}{2}$，
作$CE\bot x$轴于$E$，
$\because S_{\triangle COE}=S_{\triangle AOD}$，
$S_{\triangle OCD}=S_{\triangle COE}+S_{梯形ADCE}-S_{\triangle AOD}=S_{梯形ADCE}$，$S_{\triangle OCD}=3$，
$\therefore \frac{1}{2}\left(AD+CE\right)\cdot AE=3$，即$\frac{1}{2}(\frac{m}{2}+m)\cdot \left(2m-m\right)=3$，
$\therefore m^{2}=4$，
$\therefore k=m^{2}=4$，
故答案为：$4$.