個人利用でチャット形式であればそういった使い方がほとんどだと思います。あとは、有名な試験の模擬試験のようなサンプルを作らせたりみたいな使い方とかは可能だと思います。
生成AIの仕組み自体がライトウエイトオントロジー的な発想なので、回答に誤り(ハルシネーション)が発生してしまうのは、ある程度しょうがない事です。(むしろ、どんな質問でも回答出来るアルゴリズムが驚異的なのですが…)
間違った情報が出てくるということは、特定条件下で発生するような例外的なものを調べさせる等)をやらせていたり、単純に情報が不足してたり、とあまり生成AIに向いていない事をやらせていると考えるべきでしょう。
そういった場合は特定の機能特化型のAIやノートブック型のAIを使うことでAIの学習データをコントロールすれば、より正確な回答を出してくれると思います。
要は、AIはそれなりに期待に応えてくれるけど万能ではないので、役立つ場面や使い方は考えましょうという話です。
