メンタルが安定しない理由について一概に「相手にある」か「自分にある」かを断定するのは難しいことです。
多くの場合メンタルの状態は自分自身の内面の問題と相手や環境との関係性の両方が絡み合っています。
あなたがその人に対して特に不安や怯えを感じるのは、過去の経験や無意識の感情あるいはその人との関係性の中で何かが心に影響を及ぼしている可能性があります。
相手が悪意を持っていなくてもあなたの中にある不安やトラウマ的な感情が反応していることも考えられます。
また精神疾患体質と感じていることもメンタルの安定を難しくしている要因かもしれません。
これはあなたの内面の問題ですが、決してダメなわけではなく適切なケアやサポートがあれば改善や安定に向かうことが多いです。