家計が成り立つか否かで判断すれば良いことです。それを踏まえて5000円のウニを選んだりしているのですから、問題ありません。
お金を一生貯め続けても、あの世に持って行くことはできませんよ。どこかで使わないと、死後に無意味なお金を残して終わることになります。それを是とする夫なら離婚一択ですが、そうでは無いので気にせず買えば良いです。
外食でウニを食べたら、交通費等々で5000円なんかじゃ普段でもスーパーにあるような安物すら食べられないかも知れませんよ。この時期だけは普段扱わないような上物も入荷しますので、この時期にスーパー等で買えば、お店に行って食べるより安くおいしく食べられます。
旅行等をして食べるのもありでしょうけど、昨今のオーバーツーリズム問題等もあって、旅行で楽しめる保証も無くなっていると思います。そう考えれば、5000円で満足できるのはすごくお得だと思いますけどね。
贅沢して家計が火の車とかでは無いのですから、気にする必要は無いと思います。