夫が風俗に行っても法律上は浮気じゃないんですか？

法的にも不貞行為です。風俗嬢から慰謝料を取りにくい理由は、「客が既婚か未婚か知り得ない」という一点のみです。