我想请问2016年7月份我们因为想要拆迁多拆点而领了离婚证，现在又有个小女儿了，但是我因为15年小孩爸爸没上班在家我就去找了份工作上班进了保险公司，但是因为不懂就被忽悠自己买了很多的保险，被坑了四五十万，现在小孩爸爸说不管我了，我想咨询一下小孩能跟我走吗？女儿才10个月不到还在吃奶，儿子11周岁，当时办离婚时他只给了我80个平方。