我想咨询一下，关于房产买卖的问题，我这边购买一套二手房，因为资金不够，和房主商量，分期付款。签订完合同以后，付了一半的房款，房主在交给我钥匙前，在我不知情的情况下，将房屋物品拿走了，窗帘也拆走了，还故意挑衅的口吻，要我房子剩下的东西，要什么给他加钱，不要他还要拆走。因为他这样的行为，我很生气，要求他退款给我，房子他另找买主，后面经过协商，他拿走什么东西，我从后期房款里扣除，因为房产还不在我的名下。他现在因为工作原因一家人都不在本地，他现在是说做公正委托亲戚或者朋友，和我办后期的手续，我担心后面会出现什么状况，我应该怎么做，避免后期风险。