大切なのは彼氏さんの価値観でも、参加される女性の気持ちでも無いかなと思います
質問者さんは彼氏さんが女性のいる集まりで遊ぶのが嫌なんですよね?
それなら彼氏さんとお互いが妥協出来るところまで擦り合わせるのが大切です
例えば質問者さんが自分が参加していれば許せるなら参加させてもらうとか、複数人で近場のランチだけならOKとか、女性が入っていれば遊びは全NGとかです
質問者さんにとって譲れない一線なのでしょう
今後そういう選択の場面は何度もあります
その時、彼氏さんが質問者さんの思いをどの程度大切にして受け入れてくれるのかが今回わかると思います
最終的に結婚の可能性が少しでもあるなら、彼女の絶対嫌なことを自分の欲のため続けるタイプは変わりませんので、お付き合い自体を考え直すのも視野に入れるといいですよ
そもそも逆はOKなんですかね(質問者さんが1人で男性3人と遊びに行く)
気になるので聞いてみて欲しいです