A

$A$、氢氧化钠溶于水，溶液温度升高，导致试管内气体受热膨胀，乙烧杯中的导管口有气泡冒出，故$A$正确；
$B$、硝酸铵溶于水，溶液温度降低，乙烧杯中的导管口会形成一段液柱，故$B$错；
$C$、氯化钠溶于水，溶液温度不变，乙烧杯中的导管口不会有气泡冒出，故$C$错；
$D$、冰块溶于水，溶液温度降低，乙烧杯中的导管口会形成一段液柱，故$D$错。
故选：$A$。