生成AIの仕組み

なぜ「次の言葉を予想する」だけで文章が書けるのか

この記事の要約

生成AIの中身は『次に来る言葉を確率で予測し、1 語足してまた読む』の繰り返しです。意味の理解ではなく、続きやすさのパターン計算で文章を伸ばしています。

  • 答えの質は入力(プロンプト)の書き方で変わる
  • 確率の揺らぎで同じ質問でも答えは変わる
  • 事実と違う内容ももっともらしく書ける

なぜ言葉の予想だけで文章が書けるのか

ChatGPTのような生成AIは、まるで意味を分かって考えているように見えます。ところが中で行われているのは『今までの文章の続きとして、次に何が来るか』の予想だけ。たった 1 語の予想が、どうやって長い回答文になるのでしょうか。

生成AIが文章を作る流れ

いいえ差し戻し(また予測へ)はい
入力
予測のループ
出力
スルスル出てくる理由回答が左から順に1語ずつ表示されるのは、このループの動きをそのまま見せているからです。
生成AIの中の処理1語ずつ予測して足す
入力文(プロンプト)質問・指示。例「日本の首都は」
トークンに分割(番号化)文を細かい単位に刻む。「東京」→ ID番号へ
次の言葉を確率で予測文脈から最有力候補を選ぶ。東京72% / 大阪5% …
文の区切りまで来た?生成を止めるか、もう1語続けるか
1語足して読み直す選んだ語を末尾に付け、伸びた文をまた読む
完成した回答つながった言葉が文章に。例「東京です。」

各工程・分岐・レーンをクリックすると、その仕組みの説明がここに表示されます。

この図をテキストで読む

業務フロー図「生成AIが文章を作る流れ(1語ずつ予測して足すループ)」。レーン1本、工程6個。 【レーン(担当)】(左から右) - 生成AIの中の処理: 1語ずつ予測して足す 【工程】(上から下へ。担当 → 工程名) ── フェーズ: 入力 ── 1. 生成AIの中の処理: 入力文(プロンプト)〔開始・終了〕(質問・指示。例「日本の首都は」) 2. 生成AIの中の処理: トークンに分割(番号化)〔データ〕(文を細かい単位に刻む。「東京」→ ID番号へ) ── フェーズ: 予測のループ ※スルスル出てくる理由: 回答が左から順に1語ずつ表示されるのは、このループの動きをそのまま見せているからです。 ── 3. 生成AIの中の処理: 次の言葉を確率で予測(文脈から最有力候補を選ぶ。東京72% / 大阪5% …) 4. 生成AIの中の処理: 文の区切りまで来た?〔分岐〕(生成を止めるか、もう1語続けるか) いいえ → 1語足して読み直す はい → 完成した回答 5. 生成AIの中の処理: 1語足して読み直す(選んだ語を末尾に付け、伸びた文をまた読む) ── フェーズ: 出力 ── 6. 生成AIの中の処理: 完成した回答〔開始・終了〕(つながった言葉が文章に。例「東京です。」) 【補足の流れ】 - 1語足して読み直す → 次の言葉を確率で予測(差し戻し(また予測へ))

予測へ戻る差し戻しの矢印(自己回帰ループ)が生成AIの核心

「流暢さ」と「正しさ」は別もの

生成AIは『いちばん続きやすい言葉』を選ぶので、文章はとても自然です。ただし自然さと正しさは別もの。重要な数字・固有名詞・引用は必ず元の資料で裏取りし、社内データに基づかせたいときは、検索してから答えるRAGと組み合わせましょう。

押さえておきたい用語

LLM(大規模言語モデル)
大量の文章で学習したモデルで、『次に来る言葉』を予測するのが基本動作です。ChatGPTやClaudeなどの生成AIの中身がこれです。
トークン
生成AIが文章を扱うときの最小の部品。単語より少し細かく、日本語では1文字〜数文字が目安です。料金や文の長さの上限はこのトークン数で数えます。
プロンプト
生成AIに渡す入力文(質問・指示)のこと。これを手がかりに続きが作られるので、書き方を工夫すると答えの質が上がります。
確率予測
次の言葉の候補それぞれに『来やすさ』の確率を付け、高いものを選ぶ仕組み。意味の理解ではなくパターンの計算です。
ハルシネーション
生成AIが事実と違うことを、もっともらしく自信ありげに書いてしまう現象。『続きやすさ』で言葉を選ぶ仕組み上、避けきれないので確認が必要です。

ここから先へ

この解説とつながりのあるページ