某校七年级有数学、英语、篮球、美术共四个社团,参加数学社团的有$x$人,参加英语社团的人数比数学社团人数的两倍少$y$人,参加篮球社团的人数比英语社团人数的一半多$1$人,每个学生都限报一项,参加社团的学生共有$\left(6x-3y\right)$人.
$(1)$若$x=64$,$y=40$,则英语社团有______人,篮球社团有______人；
$(2)$求美术社团的人数（用含$x$,$y$的式子表示).