已知分式$A=(a+1-\frac{3}{a-1})\div \frac{a^2-4a+4}{a-1}$.
$(1)$化简这个分式.
$(2)$当$a \gt 2$时,把分式$A$化简结果的分子与分母同时加上$4$后得到分式$B$,问:分式$B$的值较原来分式$A$的值是变大了还是变小了?试说明理由.
$(3)$若$A$的值是整数,且$a$也为整数,求出符合条件的所有$a$值的和.