如图,为了推广全民健身活动,九（1）班同学到某小区随机调查了$m$名居民,把每周锻炼身体时间统计制成条形统计图,其中每周锻炼$3$小时的人数被污染,班长只记得中位数是$2$小时,只要再调查$1$名居民且锻炼时间不低于$3$小时,中位数就会变大.
$(1)$求$m$的值,并补全条形统计图；
$(2)$求众数和平均数（若除不尽,结果保留一位小数).