$2023$年$7$月$28$日至$8$月$8$日,第$31$届世界大学生运动会将在成都举行."当好东道主,热情迎嘉宾",成都某知名小吃店计划购买$A$,$B$两种食材制作小吃.已知购买$1$千克$A$种食材和$1$千克$B$种食材共需$68$元,购买$5$千克$A$种食材和$3$千克$B$种食材共需$280$元.
$(1)$求$A$,$B$两种食材的单价；
$(2)$该小吃店计划购买两种食材共$36$千克,其中购买$A$种食材千克数不少于$B$种食材千克数的$2$倍,当$A$,$B$两种食材分别购买多少千克时,总费用最少?并求出最少总费用.