$(1)$证明：$\because$四边形$ABCD$是矩形，
$\therefore AC$与$BD$相等且互相平分，
$\therefore OC=OD$，
$\because \triangle COD$关于$CD$的对称图形为$\triangle CED$，
$\therefore OD=ED$，$EC=OC$，
$\therefore OD=ED=EC=OC$，
$\therefore$四边形$OCED$是菱形.
$(2)$$\because$四边形$ABCD$是矩形，
$\therefore CD=AB=2$.
$\because$四边形$OCED$是正方形，
$\therefore \angle COD=90^{\circ}$.
在直角$\triangle COD$中，由勾股定理得$OC^{2}+OD^{2}=2^{2}$，
$\because OD=OC$，
$\therefore OC=\sqrt{2}$.
故答案为：$\sqrt{2}$；
$(3)$作$OQ\bot CE$于$Q$，交$CD$于$P$，如图所示：

此时$PE+PQ$的值最小为$\sqrt{3}$；理由如下：
$\because \triangle COD$沿$CD$所在直线折叠，得到$\triangle CED$，
$\therefore \angle DCE=\angle DCO$，$PE=PO$，
$\therefore PE+PQ=PO+PQ=OQ$，
$\because AC=BD=4$，
$\therefore OC=OD=2$，
$\therefore \angle DCO=\angle ACD=30^{\circ}$，
$\therefore \angle DCE=30^{\circ}$，
$\therefore \angle OCQ=60^{\circ}$，
$\therefore \angle COQ=30^{\circ}$，
$\therefore CQ=\frac{1}{2}OC=1$，$OQ=\sqrt{3}CQ=\sqrt{3}$，
即$PE+PQ$的最小值为$\sqrt{3}$.
故答案为：$\sqrt{3}$.

$(1)$由轴对称的性质得出$OD=ED$，$EC=OC$，根据四边相等的四边形是菱形即可判断.
$(2)$矩形的性质求出$CD=AB=2$，由勾股定理求解即可.
$(3)$作$OQ\bot CE$于$Q$，交$CD$于$P$，此时$PE+PQ$的值最小为$OQ$的长；由折叠的性质得出$\angle DCE=\angle DCO$，$PE=PO$，得出$PE+PQ=PO+PQ=OQ$，由直角三角形的性质得出$CQ=\frac{1}{2}OC=1$，$OQ=\sqrt{3}CQ=\sqrt{3}$即可.

【点评】

本题考查了四边形综合题，综合运用了翻折变换的性质、矩形的性质、菱形的判定和性质、正方形的判定、勾股定理以及垂线段最短等知识，熟练掌握翻折变换的性质和菱形的判定与性质是解题的关键.

$(1)$证明：$\because$四边形$ABCD$是矩形，
$\therefore AC$与$BD$相等且互相平分，
$\therefore OC=OD$，
$\because \triangle COD$关于$CD$的对称图形为$\triangle CED$，
$\therefore OD=ED$，$EC=OC$，
$\therefore OD=ED=EC=OC$，
$\therefore$四边形$OCED$是菱形.
$(2)$$\because$四边形$ABCD$是矩形，
$\therefore CD=AB=2$.
$\because$四边形$OCED$是正方形，
$\therefore \angle COD=90^{\circ}$.
在直角$\triangle COD$中，由勾股定理得$OC^{2}+OD^{2}=2^{2}$，
$\because OD=OC$，
$\therefore OC=\sqrt{2}$.
故答案为：$\sqrt{2}$；
$(3)$作$OQ\bot CE$于$Q$，交$CD$于$P$，如图所示：

此时$PE+PQ$的值最小为$\sqrt{3}$；理由如下：
$\because \triangle COD$沿$CD$所在直线折叠，得到$\triangle CED$，
$\therefore \angle DCE=\angle DCO$，$PE=PO$，
$\therefore PE+PQ=PO+PQ=OQ$，
$\because AC=BD=4$，
$\therefore OC=OD=2$，
$\therefore \angle DCO=\angle ACD=30^{\circ}$，
$\therefore \angle DCE=30^{\circ}$，
$\therefore \angle OCQ=60^{\circ}$，
$\therefore \angle COQ=30^{\circ}$，
$\therefore CQ=\frac{1}{2}OC=1$，$OQ=\sqrt{3}CQ=\sqrt{3}$，
即$PE+PQ$的最小值为$\sqrt{3}$.
故答案为：$\sqrt{3}$.

$(1)$由轴对称的性质得出$OD=ED$，$EC=OC$，根据四边相等的四边形是菱形即可判断.
$(2)$矩形的性质求出$CD=AB=2$，由勾股定理求解即可.
$(3)$作$OQ\bot CE$于$Q$，交$CD$于$P$，此时$PE+PQ$的值最小为$OQ$的长；由折叠的性质得出$\angle DCE=\angle DCO$，$PE=PO$，得出$PE+PQ=PO+PQ=OQ$，由直角三角形的性质得出$CQ=\frac{1}{2}OC=1$，$OQ=\sqrt{3}CQ=\sqrt{3}$即可.

【点评】

本题考查了四边形综合题，综合运用了翻折变换的性质、矩形的性质、菱形的判定和性质、正方形的判定、勾股定理以及垂线段最短等知识，熟练掌握翻折变换的性质和菱形的判定与性质是解题的关键.