重庆市自发布"重庆市长江$10$年禁鱼通告"后,忠县内的黄钦水库自然生态养殖鱼在市场上热销,并被誉为"清凉五月天,黄钦自有贤"的美誉.$2024$年五一假期依依同学旅游到此,并购买了若干桂花鱼和大罗非,她发现用$840$元买的桂花鱼的数量比用同样价钱买大罗非的数量多$20$斤,且大罗非的单价是桂花鱼的$1.5$倍.
$(1)$求桂花鱼、大罗非两种鱼的单价分别为多少元；
$(2)$两种鱼在得到一致好评后,依依决定再次购买这两种鱼作为"伴手礼".由于商家对老顾客让利,其中桂花鱼按照原单价购买,大罗非的单价每斤降低$m\left(m \gt 0\right)$元,则购买的数量会比第一次购买大罗非的数量增加$2m$斤,第二次一共购买$80$斤鱼共用了$1340$元.求$m$的值.