結論として、Windows 11 の標準 VPN クライアントでは、IKEv2 を「事前共有鍵(PSK)のみ」で使うことはできず、証明書などを使った方式に切り替える必要があります。レジストリで EnableIKEv2PSK を追加する裏技も、現行の Windows 11 では基本的に使えない前提で考えた方がよいです。
理由を整理します。
・Windows 11 の IKEv2 は、公式には「証明書ベース」または「EAP(ユーザ名+パスワード)」などの方式を前提にしていて、GUI にも事前共有鍵の入力欄は用意されていません。
・過去の情報として、レジストリに EnableIKEv2PSK を追加すると PSK が使えるという話がありますが、これは非公式かつバージョン依存で、最新環境では効かなかったり不安定だったりします。質問者さんの環境で有効にならないのはそのためと考えられます。
・一方、RTX830 側は IKEv2 の事前共有鍵設定ができますが、Windows 側が PSK で IKEv2 を受けてくれないので、その組み合わせは成り立ちません。
対処方法としては、
1. RTX830 にサーバ証明書を入れて「証明書ベースの IKEv2(+必要ならクライアント証明書/EAP)」にする
2. どうしても事前共有鍵だけで済ませたい場合は、IKEv2 ではなく L2TP/IPsec(PSK対応)など別方式を使う
といった構成に変更するのが現実的です。
つまり、「Windows 11 で IKEv2 を使うなら、証明書等を使う前提で設計し直す必要がある」と考えてください。