我和前夫离婚，女儿10岁抚养权归前夫，前夫的户口在结婚的时候迁到我家，离婚后不久土地被征用，国家给了赔付款和安置房，前夫的那份全部给他了，我女儿的赔付款我爸存着，之前双方已经商量好等女儿满18岁由她自己安排，未满十八岁之前由我爸保管，但现在前夫反悔了，要求女儿的赔偿款拿给他保管，我爸不同意，因为前夫是一个不学无术，游手好闲的人，之前还因为非法持有毒品坐牢两年，才不久又因吸毒拘禁14天，前夫家庭条件差，女儿一直是男方父母照顾，学校的一切费用都是我出的，出于这种情况，他能要回赔偿款吗？