我和前夫奉子成婚,到現在我們離婚了還住在一起,但是,我覺得自己好累。他跟我離婚後,有再跟別的女人結婚,又離婚,現在是回復成我們原本一家四口,但我跟他沒有結婚,有時會發生關係,我跟他復婚是對的嗎?還是他跟前妻復婚才是對的?