個人的には、おじ・おばの関係なら夫婦で参列すると思います。
(式場で働いていますが、独身の方以外で単独で来られている甥、姪はほぼ見ない田舎です)
質問者さんの場合「仕事を休んで葬儀も来て」と言われない、別に長時間の移動でない、小さい子供がいて連れて行くよりも自宅で面倒を見ていたいという事情がないようですし、行かれたらいいのではと思いますが、肝心の奥さまはどう仰っているのでしょうか。
例えば奥さまにごきょうだいやいとこがいて、そちらは夫婦で参列したという場合、ちょっと肩身が狭いかも…とは想像します。
今後、質問者さん側のご親族の葬儀があっても「故人とは1回しか会ったことがないから、君は来なくていいよ」となるかどうかにもよるかなとは思いました。