有三张正面分别标有数字$-1$,$1$,$2$的不透明卡片,它们除数字不同外其余全部相同.现将它们背面朝上,洗匀后从中任意抽取一张,将该卡片正面上的数字记为$a$；不放回,再从中任意抽取一张,将该卡片正面朝上的数字记为$b$,则使关于$x$的不等式组$\left\{\begin{array}{l}{\frac{3x-2}{2}＜x+\frac{3}{2}}\\{ax＞b}\end{array}\right.$的解集中有且只有$2$个非负整数的概率为____.