C

A、睾丸是男性的主要性器官，其主要功能是产生精子和分泌雄性激素。所以，①是精子，是男性的生殖细胞，A正确。
B、卵巢能产生卵细胞并分泌雌性激素，是女性主要的生殖器官。所以，②是卵巢，B正确。
C、人体发育的起点是受精卵，因此③是受精卵，受精卵是在输卵管中形成的，C错误。
D、胎儿在母体子宫内发育，通过胎盘和脐带从母体获得所需要的营养物质和氧气；胎儿产生的二氧化碳等废物，也是通过胎盘经母体排出。所以，④是胎盘，是胎儿与母体进行物质交换的结构，D正确。
故选：C。