プライベートで、人に合わせることがものすごく苦痛、人に合わせる気がないのは、大きな問題ですか？

問題ないと思います。

私も自由気ままに過ごしています。

仕事上は協調性なんかが必要ですが、プライベートくらい自由に過ごせないとストレス溜まっちゃいますしね。