是否该退彩礼钱男方没离婚,他老婆带着…

是否该退彩礼钱男方没离婚,他老婆带着儿子回远方娘家,两三年未归。他在家乡又找了一个女孩,这女孩一开始因为他没离婚没答应他,他却保证即使他老婆回来了,他也不会放弃这女孩。女孩就按当地风俗,也为了防止他反悔,就要了四万彩礼,没想到结婚前两天,他老婆竟回来了!太巧了,说不定再婚就是为了引他老婆回来,很可恶!不退彩礼,她老婆竟把我告上了法庭!我应该怎么做?