我家宅基地按照当时农村给发的面积确权，但是在我家宅基地上有三间规划房屋。这三间房屋，村里之前安排有户村民在这里住，后来村里给他们分房了，让他们搬走，但是一直没搬，后来两家都不在那住了，但是房屋一直搁置在这里。现在我家土地确权，是按照我家土地证上面积量的，但是现在这户人家认为在我家土地面积上的三家房子，归之前住过的人所有。之前已经协商不行，我想通过法律知识来解决这件事情。