某班在"世界读书日"开展了图书交换活动,第一组同学共带图书$24$本,第二组同学共带图书$27$本.已知第一组同学比第二组同学平均每人多带$1$本图书,第二组人数是第一组人数的$1.5$倍,则第一组的人数为____.