离婚时双方都不愿抚养子女怎么办?

《婚姻法》第二十一条规定：“父母对子女有扶养教育的义务。”“父母有管教和保护未成年子女的权利和义务”。

 父母不履行义务时，未成年或不能独立生活的子女，有要求父母给付抚养费的权利。

在处理诉讼离婚案件时，人民法院对于这种拒绝抚养子女的当事人的处理原则：
一、批评教育，做好其思想工作，主动履行法律义务，要求抚养子女；
二、对于不听教育的人，根据保护子女合法权益和有利于子女成长的原则，依法判决孩子归哪一方抚育，另一方承担必要的生活费和教育费。

如果是协议离婚的，在双方当事人对子女抚育问题无法做出妥善安排的情况下，婚姻登记机关不能为他们办理离婚登记手续，一方当事人可依法起诉到人民法院，由人民法院依法判决。