情况简述:18年九月份，隔壁邻居三翻四次来我家看房屋结构(两梯三户，我在中间）。九月份某天下午来到我家与我母亲沟通:希望间一扇门在楼道里。我母亲当时并没反应过来，回复:你们想按门并不需要告知我们家。当晚，母亲反应过来不对，与我沟通，因间的那扇门是在我家外墙上，并且私自占用公摊面积(2平米）。所以当晚我们与物业沟通强烈拒绝他们装门！随即物业与之联系，对方态度强硬，并且当时并未安装，所以没办法要求对方“拆除”。一直到11月24日，对方将门安装后，我们再次与物业联系，物业表示只能下达整改通知书，如果对方不履行，物业也没办法。我跟对方沟通过一次40分钟(有录音)，与物业沟通多次(有录音)。对方住户承认自己不对，但就是不拆。我该怎么办？是否有理由不交物业费。