ChatGTPに聞いたところ、下記のような回答でした
⬇⬇⬇
まず結論:生成AIは「唯一の正解を与える装置」ではなく、設計と使い方次第で有用なブレインストーミング相手になり得ます。ただし、あなたが指摘する問題点――出典の捏造(ハルシネーション)、最初の応答に固執するように見える挙動、根拠の曖昧さ――は現実に存在します。これらはモデルの訓練方法(大量のテキストから統計的に次の語を予測する)と、内部で「確信度」を明示しない仕組みから来ます。だから単に「AIに問いかければ正解が出る」と期待すると失望します。
では実用的方法論:まずAIの回答を仮説として扱い、検証プロセスを組み込むこと。出典が重要なら「出典と引用を明示して」「出典の信頼度を5段階で評価して」とプロンプトで要求する(ただし出典も要検証)。複数の独立したプロンプトを使い、異なる前提や立場で再質問して「合意点」と「分岐点」を抽出する。逆に反対意見を出させる(devil’s advocate)と、固定化した論理の盲点が見えやすくなります。さらに、AIの提案を検証するための外部ソース(専門書、一次資料、Web検索)を必ず組み合わせること。最後に、プロンプトに「自分で検証可能な実験手順」や「評価指標」を出させれば、提案を実用的に試せます。
要するに、生成AIは「考えを拡げる道具」として有用だが、検証回路と批判的な視点を人間側が必ず入れることが不可欠です。これを怠ると、あなたが懸念するように誤情報や論理の固定化につながります。