前夫在我不同意的情况下，带小孩回他家我该怎么维权？

假设这个孩子是判决给您抚养，且是您和前夫所生的情况下，那么孩子其实并非像您说的与男方无关。即使离婚，父母与子女的关系也是不会消除的。（如果不是亲生的，那的确是毫无关系）
另外从情理上，孩子去见爷爷或者奶奶最后一面也是情有可原的，也不是往后带走后就不回到您的身边。
当然，可以和前夫协商一下，以后要知会一声，否则无缘无故带走的确会让人很生气，甚至可以采取法律措施。

法条相关：《婚姻法》第三十六条【离婚与子女】父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。
离婚后，父母对于子女仍有抚养和教育的权利和义务。