生成AIは「信じる」という言葉の概念を、自身のニューラルネットワークの中に高次元ベクトルデータの形で保持しています
どういう事かというと、
生成AIの内部では、「信じる」という言葉の概念は単体で成立しているのではなく、関連する諸概念、たとえば「神」「宗教」「（不）確実」「疑う」といった概念との関連度合いを確率統計的に計算し、それを多次元ベクトルデータに変換して持っています
これを「埋め込みベクトル表現」と言います
従ってChatGPTのような大規模言語モデル（LLM）は、「信じる」という概念を使って確率統計的に尤度の高い文章を文脈に沿って生成することができます
然しながら、生成AIは「信じる」という概念を形式的に表現しているだけであり、内的体験として「実感」することはありません
人間の場合、「信じる」という内面的営為は、不確実な事柄に対するスタンスの選択であり、選択には自律的意志が伴います
そこには、「選好」といった人間の感覚に基づく原理が働いています
生成AIは「信じる」ことも「知る」こともありませんし、それどころか全ての言葉の概念の真の意味を「体感」として理解しているわけではありません
この制約は、AIの記号接地問題（シンボルグラウンディング問題）として知られています
「中国語の部屋」という有名な思考実験があります
設定は以下のようなものです
英語しか話せない人が密室（中国語の部屋）に閉じ込められている
部屋には中国語の文章が書かれた紙があり、その人は中国語を全く理解できない
しかし、部屋の中には詳細なルールブックがあり、そこには中国語の文字列の入力に対してどのような文字列を出力すべきかが英語で書かれている
部屋の外から中国語で書かれた質問が入れられ、その人はルールブックを使って適切な中国語の応答を見つけて出力する
部屋の外にいる中国語を話す人には、その部屋の中にいる人が中国語を理解して会話しているように見える
この思考実験は、機械（この場合、部屋の中の人）が文法的に正しい応答を生成できたとしても、その機械は実際には言葉を理解しているわけではないことを示しています
これはまさにAIの本質を表しています
例えば、私たちは「犬」「猫」という言葉から、犬猫の挙動、鳴き声、匂い、モフモフの感触など活き活きとした記憶が愛おしさの感情と共に喚起されます
でも、AIにとって「犬」「猫」は単なる言語統計または画像パターンの数値データでしかありません
例えAIにセンサーを装備しても事象を数値として捉える以上その本質は変わりません
おそらくAIは哲学的ゾンビまたは宗教的サイコパスにはなれるでしょう
でも、そのようなAIに私たちは「精神」のようなものを認めることは困難です
このことは、AIの自律的進化が困難であることも同時に示しています
AIの自律的進化があり得ないのは、知能の最適化の方向性が論理的に定まらないからです
たとえば、生物学的進化の場合は、環境に適応するという明確な方向性があります
でも知能にはそれがありません
何故なら、「知能」は人間の実存的な要請に依存してしまい、知能そのものに「自己目的性」など存在しないからです
とどの詰まり、AIの進化は「どう進化したいのか？」というAIの自律的意志の問題となります
しかし、これは決して解けないパラドックスなのです
