そんなものです。
休日出勤しても代替で休みあれば出勤日数変わらないし、労働組合があるのならそこで協定もあるでしょう。
そもそも会社が言ってる休みが多いということと休日出勤が無いは同一の意味ではないですよね。
年間96日休日あったら大抵の企業は休み多いって言いますよ。労働基準法は週一休み+有給が基準なので。尚、4週で4日あれば最低基準はクリアしてます。週一休みなら52週なので年間休日52日で働けよと労働基準法では言ってるのです。96は完全週休2日ではありません。計算すればわかりますよね。
年間124の週休2日に年末、盆休みがあるところなんて労働組合がしっかりした大企業しかありません、またそういうところの下位職は世間一般の大企業のイメージよりびっくり給料安いですよ。
結局サラリーマンの最初は金を取るか休みを取るかの2択しかないのです。
言われたことを確認もせず自分の都合の良い様に取った自分の責任としか言えないと思います。