我国南宋数学家杨辉在其所著的《详解九章算术》一书中,给出了$\left(a+b\right)^{n}$的展开式（按$a$的次数由大到小的顺序）的系数规律,具体如图所示.

$(1)$观察图中的规律,填空:"★"表示的数是______$,\left(a+b\right)^{4}=$______；
$(2)$计算:$2024^{3}-3\times 2024^{2}\times 2023+3\times 2024\times 2023^{2}-2023^{3}$.