ぶらり、散歩に読書　ミチクサノオト

「LLMとは何か／どう動くか／なぜ問題が生じるか／今後の課題」

「LLMとは何か／どう動くか／なぜ問題が生じるか／今後の課題」を一望できる形に再構成した解説です。

◆ 全体の要点

 • LLM（大規模言語モデル）とは何か

→ 大量のテキストを学習し、「次に来る単語」を予測するAI。ChatGPTやGeminiが代表例。

• どうやって文章を作るのか

→ ①事前学習（膨大な文章で一般知識を獲得）

　　②事後学習（会話形式・専門知識・倫理調整）

　　→ トークン単位で次の語を確率的に選ぶ。

• なぜ“もっともらしいウソ（ハルシネーション）”が出るのか

→ LLMは「事実」ではなく「もっともらしい語の並び」を予測する仕組みだから。

• なぜ電力問題が深刻なのか

→ 事前学習には数万台のGPUを数カ月動かす必要があり、電力消費が巨大。

• 今後の課題

→ 高品質データの枯渇、GPU・電力コストの増大、効率的なモデル設計の必要性。

 

◆ 1. LLMとは何か：仕組みの核心

 ● 定義

 LLM（Large Language Model）は、大量のテキストを学習し、自然な文章を生成するAI。

ChatGPT、Geminiなどが代表。

 ● 基本原理

　• 人間の脳の神経回路を模したニューラルネットワークを使用

　• 「次に来る単語は何か」を予測し続けることで文章を生成

　• その予測精度を支えるのが膨大なパラメーター（数千億規模）

 

 

● 学習データの規模

　• GPT-3：書籍換算で数百万冊

　• 最新モデル：1億冊相当とも言われる

LLMは「知識を記憶している」のではなく、言語のパターンを統計的に捉えている点が重要。

◆ 2. 学習の二段階：事前学習 → 事後学習

●（1）事前学習：一般知識の獲得

　• ネット上の膨大な文章を読み込み、穴埋め問題を延々と解く

　• 「我が輩は…」→「猫」を当てるような作業を数兆回規模で繰り返す

　• その過程でパラメーターが調整され、文法・語彙・世界知識のパターンが形成される

→ 人間で言えば「一般教養を身につけた段階」。

 

●（2）事後学習：会話能力・倫理・専門性の付与

　• 会話形式のデータや専門領域のデータを追加学習

　• 人間との対話を通じて、不適切な回答を避けるよう調整

　• 企業のOJTや大学院教育に近い

→ これにより「対話できるAI」へと仕上がる。

 

◆ 3. 文章生成のプロセス：トークン予測

 ● トークン化

入力文を「日本」「の」「首都」「は」のような最小単位に分割。

● 予測

事前学習で得たパラメーターを使い、

「日本の首都は」→「東京」80％、「大阪」5％…

のように確率を計算し、最も自然な語を選ぶ。

● トランスフォーマーの革新

2017年Googleが発表したTransformerにより、

　• 文全体を一度に見渡す

　• 全トークン間の関係を同時に計算

が可能になり、精度と速度が飛躍的に向上。

 

◆ 4. なぜ“ウソ”が出るのか：ハルシネーションの構造

● 原因

LLMは「事実」を扱っているのではなく、

“もっともらしい語の並び”を予測しているだけ。

　• 学習データには誤情報・古い情報・偏った情報が含まれる

　• そのパターンを再現してしまう

　• 意図的にウソをついているわけではない

→ 「確率的に自然な文章」≠「正しい情報」

という構造的なギャップがある。

 

◆ 5. 電力・計算資源の問題：AI時代のインフラ負荷

 ● 事前学習の電力消費

　• GPT-3の事前学習：1287MWh（2021年推計）

　• 最新モデルはさらに上回ると考えられる

　• 数万台のGPUを数カ月稼働させる必要がある

● 推論（ユーザーの質問に答える）の電力

　• Gemini：1回の回答で0.24Wh

　• しかし世界中で数億人が毎日使えば、総量は巨大

→ AI普及＝電力需要の増大という構図が避けられない。

 

◆ 6. 今後の課題：データ枯渇と効率性の壁

● 課題1：高品質データの枯渇

　• ネット上の良質な文章はほぼ学習し尽くした

　• 書籍のデジタル化など、新たなデータ源の確保が必要

● 課題2：GPU・電力コストの増大

　• モデルが大きくなるほど計算資源が指数的に増える

　• 持続可能性の観点からも限界が見えてきている

● 課題3：効率的なモデル設計

　• 小型モデルの高性能化

　• 新しい学習方法（例：自己学習、合成データ）

　• モジュール化・専門モデルの組み合わせ

→ 「巨大化」から「効率化」へのパラダイム転換が求められている。

 

◆ まとめ：この記事が伝えたい本質

この記事の核心は、

LLMは“知性”ではなく“確率的な言語パターン生成装置”であり、その進化は巨大な計算資源とデータに支えられている

という点にあります。

そして今後は、

• データの枯渇

• 電力・GPUの限界

• モデルの効率化

という「持続可能性」が最大のテーマになる。

• ポスト

• 前の記事：2026-5-5 新聞社説を読み説く
• 次の記事：歴史とは何か　EHカー　岩波新書　1964