C

$A$、要使电路中有持续电流，必须有电源，并且电路是通路，故$A$错误；
$B$、电路中电荷发生定向移动才会形成电流，故$B$错误；
$C$、电路中有电流，电路两端一定有电压，故$C$正确；
$D$、在电源外部，电流方向总是从电源正极流向负极，在电源内部，电流方向从电源负极流向正极，故$D$错误。
故选：$C$。