それは不安なことだと思います。
旦那さんの本当の気持ちを知りたい、というあなたのお気持ちはよく理解できます。でも旦那さんの本当の気持ちはここで聞いてもわかりません。
なので以下はあくまでも第三者の想像です。
一般的に、男性は女性と喧嘩するのを好みません。男性は女性に癒しを求めるのであって、脳の構造が違う女性との喧嘩は疲弊するだけですから。
元嫁のことはもともと嫌になったから離婚したのだと思いますが、あなたと喧嘩をよくするのだったら「元嫁のほうがマシだったかも」と思っている可能性はあります。
相手の気持ちは、自分の態度でつくられていきます。ご自分に問題を感じているのなら、反省して直しましょう。もしかしたら元嫁が今そういう態度なのかもしれません。