便民服务中心为提高服务质量,对五楼服务窗口开展了群众满意度问卷调查,群众满意度以分数呈现,满意度从低到高为$1$分,$2$分,$3$分,$4$分,$5$分,$6$分,共$6$档,便民服务中心规定:若群众所评分数的平均数或中位数低于$4$分,则该窗口需要对服务质量进行整改,工作人员从收回的问卷中随机抽取了$24$份,如图是根据这$24$份问卷中的群众所评分数绘制的统计图.
$(1)$求群众所评分数的中位数、平均数,并判断该窗口是否需要整改.
$(2)$监督人员从余下的问卷中又随机抽取了$1$份,与之前的$24$份合在一起,重新计算后,发现群众所计分数的平均数大于$4.04$分,求监督人员抽取的问卷所评分数为几分?