我国古代《洛书》古称龟书,传说有神龟出于洛水,其甲壳上记载着一个世界上最古老的幻方.如图,若将$1\sim 9$这九个数填入$3\times 3$的正方形方格中,恰好每一行、每一列或斜着的$3$个数相加,和都相等,则$x$的值是____.