この２年ほどでメール発信元の身分証明である SPF/DKIM/DMARC 認証が一般化しました。SPF/DKIM/DMARC 認証が不十分なメールが DMARC ポリシーとして「quarantine（隔離）」の採用されたメール・サーバーに来る時、メールは「迷惑メール」フォルダに隔離されます。
質問者さんの連絡先メール・アドレスでは SPF/DKIM/DMARC 認証がきちんと行われていない可能性があります。ＰＣのメール・ソフトやＷｅｂメール、或いはスマホのメール・アプリ Thunderbird や BlueMail でメール・ヘッダーの認証関係の項目（「DKIM-Signature」や「Authentification-Results」など）を調べてください。
Gmail、Outlook.com 系メールだけでなく、各プロバイダや携帯キャリアのメール・サービスでは SPF/DKIM/DMARC 認証＋ DAMRC ポリシー「quarantine」や更に厳しい「reject（拒否）」の採用が一般的です。質問者さんの連絡先は、レンタル・サーバーが用意してくれた SPF/DKIM/DMARC 認証オプションを有効にしないままメールを運用しているのではありませんか？
質問者さんがレンタル・サーバーを契約し、SPF/DKIM/DMARC 認証を有効にしないままメール機能を運用すれば本物のＳＰＡＭメールと一緒に連絡先のメールも受信トレイに分類されるでしょうが、それでは対策が逆です。
