おはようございます。6月2日ＳＨＩＰの朝礼を始めます。

いまさら聞けない生成AIの仕組みを理解しよう

毎日生成AIにふれていると思いますが、誰かに生成AIの仕組みを説明してくれと言われたらうまくできそうですか？　いまさら人にも聞きにくくなってきたかと思います。今日はわかりやすい動画で基礎を学んで、説明できるようになりましょう。

人とAIアシスタントが登場する短い映画の脚本――質問部分だけが書かれ、AIの応答は空欄。ここに「次に来る単語を予測する魔法のような仕組み」を想像してみましょう。手元の脚本を大規模言語モデル（LLM）に読み込ませ、「AIアシスタントが最初に発する単語」を予測すると、続きの対話全文が生成できます。これが皆さんがチャットボットと対話するとき、裏で起こっている核心プロセスです。

1. 大規模言語モデルとは何か

大規模言語モデル（LLM）は、あるテキストに対して「次に来る可能性のある単語すべて」に確率を割り振り、もっともらしい言葉列を作り出す数学的関数のようなものです。たとえば「今日は☐☐に行きます。」という文に続く語として、「学校」「買い物」「旅行」など候補とそれぞれの確率を提示。確率の高い語はもちろん、あえて低確率の語を乱数で選ぶことで、応答に自然な揺らぎと多様性が生まれます。

2. 事前訓練（Pre-training）のしくみ

モデル内部の重み（パラメーター）は数千億～数兆に及ぶ連続値で構成され、初期状態ではランダム。インターネット上の膨大なテキストを用い、ある文の最後の単語だけを隠して予測させ、「モデルの予測」と「正解」を比較します。その誤差をバックプロパゲーションで全パラメーターに反映し、これを何兆例にも及ぶデータで繰り返すことで、未知の文でも妥当な次語を予測できるように学習します。

3. トランスフォーマーとアテンション機構

2017年に登場した「トランスフォーマー」は、文章を一語ずつ順に処理せず、テキスト全体を並列処理します。各単語は「埋め込みベクトル」という数値リストに変換され、アテンション機構で周囲の文脈情報と相互に情報交換。たとえば「バンク」という語が文脈で「銀行」か「川岸」かを判断し、より適切な意味表現を獲得。これにより大規模並列演算が可能となり、高速・大規模なテキスト処理が実現しました。

4. 人間の好みに合わせる仕上げ：RLHF

しかし事前訓練だけでは百科事典的知識にすぎません。実用的な対話AIには「人間のフィードバックを通じた強化学習（RLHF）」を加えます。専門家が不適切な出力にフラグを立て、正解例を示すことで再学習を行い、ユーザーが好む回答を優先して生成できるよう、パラメーターをさらに微調整します。

5. なぜ同じ質問で毎回違う答えが返るのか

モデルは常に確率分布から語を選択するため、同じプロンプトでもわずかに異なる語が選ばれ、結果としてニュアンスの違う応答が得られます。これが「決定的ではない」生成の秘密であり、多様性のある自然な対話体験を生み出します。

以上のように、生成AIは
・確率予測による次語生成
・巨大パラメーターの最適化（事前訓練）
・並列処理トランスフォーマーとアテンション
・人間フィードバック（RLHF）による仕上げ
の四要素が組み合わさって成り立っています。この仕組みを理解しておけば、初心者にも自信を持って説明できるはずです。ぜひ実際に試しながら、その動作原理を体感してみてください。

以上で朝礼を終わります。