今も元カノと連絡取っているのだとしたら旦那さんはクズだと思います。
ただ、元カノとの思い出の場所が嫌で行きたくないというのは大袈裟というかあなたの人生の楽しみが減ってしまって勿体無いなと思います。
旦那ではないですが、私は今の彼氏に浮気されたことがあります。
2人で水族館に行き、食事をし、イルミネーションでツーショット写真を撮ってたので全く同じデートコースに連れて行かせましたww
私との方が楽しいという思い出の上書きをしてやりましたよ!
元カノと密かに行かれるより自分が行って思いっきり楽しんで妻との方が楽しすぎる!って植え付けてやるのもありだと思いますよ。