原本我们俩有我们自己的工厂，因我老婆弟弟要合伙开个大点的工厂，一开始我不太同意合伙可我老婆坚持要，合伙后我就把我原有的厂关了，在合伙期间为账目跟钱她弟弟不愿意与我表明，我一提这账与钱，我老婆就跟我吵说我烦。后来我没办法了就无条件退出，全给她弟了，我说我们俩出去自己干自己的，我老婆不愿意，不许她帮她弟呀就不跟我过，帮呀又没钱，没钱了找我要，我找谁啊，帮她弟做事也不问不说，没钱了找她弟要，给得三五百。搞的自己没钱了，家家不管，孩子也不问。我不让她帮，就要离婚，在赶我走，来来回回找她跟她说，又是不离，又是离，三次了。说不离也不去帮自己做事，就这样一直拖着，自己的厂不搞，孩子家也不管，要离婚也不回来离。电话打不通，信息也不回。这事情对我家人造成了精神伤害，给我造成了精神经济上损失。我该怎么办？离还是不离？联系不到人的话怎么离呢？