近年の文章生成AIの急速な発展は、トランスフォーマーと呼ばれるAI技術の発達があるのですが、
(chatGPTのTは、トランスフォーマーのTです)
それを支える重要な技術として、アテンション機構というものがあります。
簡単に言えば、文章の中のどの部分が重要なのか？どこに注目して処理を行うのか？を判断する仕組みです。
これを用いて、文章の中の単語(トークン)に重み付けを行って処理するおかげで、トランスフォーマーは飛躍的に文脈を捉える能力が増しました。
文章の中で重要な位置がわかれば、あとはその部分を抜き出す。もしくは、その部分を元にして新たに文章を生成して、要約を作ることができます。
(抜き出すか、生成するかは、どちらもあってシステム毎にどちらか、もしくは両方を組み合わせて行っているようです)
では、どうやって注目すべき部分を見つけているのか？ですが、複雑な数式の計算で行われています。
基本的には、あるトークンが、他のトークンとどの程度の繋がりがあるかを計算し、多数のトークンとの繋がりがあるものは、より重要度が高いという感じに判断を行っているようです。
