LLMにおける情報理論

前5章のツールをLLMに適用する: パープレキシティは交差エントロピーの人間可读なラッパーであり、事前学習は交差エントロピー損失を使用し、RLHF/DPOはKL制約で方策のドリフトを抑制し、サンプリング温度は出力分布のエントロピーを調整する。圧縮の視点も言語モデルやスケーリング則の理解に役立つが、情報量、能力、事実性、有用性は同一ではない。

導入: 同じツール、異なる舞台

前5章で登場したエントロピー、KL発散、交差エントロピー、エントロピー率、相互情報量は、通信や圧縮の「古い道具」のように聞こえるかもしれない。本章では、それらを現代のLLMに一つずつ適用していく。そうすると、それぞれが重要な役割を果たしていることに気づくだろう。

事前学習の損失、評価に用いられるパープレキシティ、アライメント時の制約、推論時の温度ノブ——これらすべてを、前5章で学んだ量で説明できる。情報理論は強力な共通言語を提供するが、モデルの能力や挙動を完全に記述する理論ではない。以下では、厳密に等価なものと、単に示唆的な解釈視点となるものを区別して見ていく。

交差エントロピー損失: 事前学習の目的そのもの

LLMの事前学習は何をしているのか?一言で言えば、交差エントロピーの最小化である。

各ステップで、モデルは次のトークンについて語彙全体に対する予測分布 q を出力する。訓練データは、観測されたトークンを one-hot 目標 p (正解トークンの確率が 1、他が 0) として与える。このステップの損失は交差エントロピーとなる:

H(p,q) = -\sum_x p(x) \log q(x) = -\log q(\text{正解トークン})

p が one-hot であるため、和は一項に収束し、損失は「モデルが正解トークンに付けた確率の負の対数」に等しくなる。系列全体の損失は、トークンごとの交差エントロピーの平均である。

全データ分布において、期待交差エントロピーを最小化することは、D_{KL}(p_\text{data}\parallel q) を最小化することと等価であり、有限の訓練データセットにおいては、サンプルごとのNLL（対数尤度の負値）の最小化は最尤推定に他ならない。モデルが出力する確率に算術符号化/ANSを組み合わせれば、NLLに近い無損失圧縮符号長に変換できる。したがって、「言語モデルを訓練する」ことと「良い確率圧縮モデルを学ぶ」ことは、目的関数の観点から密接に関連している。ただし、実際の圧縮システムにはエントロピー符号化器が必要であり、モデル重みのコストも考慮する必要がある。語彙の分割方法や one-hot の単位はトークナイザに依存し、トークンとサンプリング で詳述する。

パープレキシティ: 交差エントロピーの人間可读なラッパー

交差エントロピーの単位は bit（または nat）であり、数値が小さく直感的に分かりにくい。「損失が 2.1」と言われても、具体的なイメージが湧きにくい。

パープレキシティ (perplexity, PPL) はこれを指数化し、「平均して何個の等確率の選択肢で迷っているか」という直感的な量に変換する:

\text{PPL}=2^{H_2(p,q)}\quad\text{または}\quad \text{PPL}=e^{H_e(p,q)}

ここで H_2 は \log_2 を用い単位は bit、H_e は自然対数を用い単位は nat である。両者の数値の尺度が異なるため、同じ H に対して \exp(H) と 2^H を直接等号で結んではならない。

どう読むべきか? モデルが各位置で平均して「N 個の等確率のトークンの間で揺れ動いている」とすれば、パープレキシティは N となる。完全な予測（常に正解を確定させる）の場合、PPL =1。語彙サイズ V でランダムに推測する場合、PPL =V となる。

パープレキシティは交差エントロピーと単調な1対1対応があるため、⁠交差エントロピー損失を下げることとパープレキシティを下げることは同一の行為であり、PPL は人間が見るための目盛りに過ぎない。これが、PPL が言語モデルの最も古典的な内部評価指標である理由でもある: それはモデルがデータを圧縮する能力（エントロピー率の推定）の読み値そのものだからだ。

RLHF / DPO における KL 発散の役割

事前学習の後はアライメントフェーズである。ここで KL 発散 は、「損失」から「手綱」へと役割を変える。

RLHF の PPO 目的関数 は、報酬モデルからのリターン最大化に加えて、KL 罰則項を追加している:

\text{目的} = \mathbb E[\text{reward}(x,y)] - \beta \cdot D_{KL}(\pi_\theta(\cdot \mid x) \parallel \pi_\text{ref}(\cdot \mid x))

ここで \pi_\theta は訓練中の方策、\pi_\text{ref} は凍結された参照モデル（通常は SFT 直後の初期モデル）である。この KL 項は、方策が参照から遠く離れすぎることを罰し、何を防ぐのか? 報酬を高めるために報酬モデルの隙間を突く (reward hacking) ことを防ぎ、モデルが意味不明な文章や反復に陥るのを防ぐ。

注意すべきは方向性である: ここでは通常 D_{KL}(\pi_\theta\parallel\pi_\text{ref}) と書かれる。これは、新しい方策が参照モデルで低確率の領域に過剰な確率質量を配置することを直接罰し、主に方策のドリフトを制限する役割を果たす。第2章の mode-seeking の直感は、制約付き多峰性フィッティングにおいて有用だが、RLHF のすべての挙動を単に「ピーク探索」として帰属させるべきではない。\beta が大きいほど、手綱はきつくなる。

DPO (Direct Preference Optimization) はより精巧である。数学的に、KL 制約付きの RLHF の最適解が閉形式で得られることを示している。そのため DPO は明示的な報酬モデルや PPO をスキップし、選好データ上で直接分類損失を用いて訓練を行う。

では KL 制約はどこに行ったのか? 消えたわけではない——あの \beta \cdot D_{KL}(\pi_\theta \parallel \pi_\text{ref}) の正則化は、DPO の損失関数に暗黙的に組み込まれている。言い換えれば、DPO は手綱を放棄したのではなく、それを目的関数の中に織り込んだだけで、オンラインサンプリングや明示的な罰則項を必要としない。二つの道、同じ一本の手綱。

スケーリング則: 圧縮の視点

Chinchilla スケーリング則 の原始分析は、そのモデル族、データ、フィッティングの範囲内において、計算予算 C が与えられた場合、モデルパラメータ数 N と訓練トークン数 D は、N \propto C^{0.5}、D \propto C^{0.5} に従ってほぼ同時に拡大すべきであり、パラメータをひたすら積み重ねるよりも計算最適に近いと指摘している。具体的な指数は経験的なフィッティング結果であり、アーキテクチャやデータを問わず常に不変な定数ではない。

情報論の観点からは、この経験則を圧縮の視点で理解できるが、それはソース符号化定理から直接導かれる結論ではない。

モデルのテスト損失は、与えられたデータ、トークナイザ、コンテキスト設定における交差エントロピーであり、モデルをエントロピー符号化器に接続した場合の理想的な平均符号長にも対応する。モデルが大きく、データが多いほど、通常、データ分布をよりよく予測できるため、損失の低下は「圧縮能力の向上」として解釈できる。理想的な条件下——テスト分布が固定され、コンテキストが十分で、モデル族が真の分布に近似可能である場合——最適交差エントロピーの下界はデータの条件エントロピー率に対応する。現実のべき乗則の形状や具体的な指数は依然として経験則であり、アーキテクチャ、最適化、データ品質、評価尺度の影響を受ける。

したがって、「最適なスケーリング」という問題は、翻訳すればこうなる:「計算資源が与えられたとき、このエントロピー率推定をいかに最小限に抑えるか?」 Chinchilla の答えは、パラメータとデータのバランスを取ることであり、これはソース符号化定理の「符号長をエントロピーに近づける」という精神と一脉相通じている。モデルアーキテクチャがこの曲線に与える影響（例えば、同等の計算資源下での稠密モデル vs MoE のパラメータ効率）は、同じ図の別の断面である。

サンプリング温度: 出力分布のエントロピーノブ

推論時のサンプリング温度 (temperature) T は、情報論の観点から見れば、出力分布のエントロピーを直接操作するノブである。手法は、softmax の前にロジットを T で割ることである:

• T > 1: 分布は平坦化され、エントロピーは増大する。より多くのトークンが有意な確率を持ち、出力はよりランダムで多様になる。
• T < 1: 分布は尖り⁠、エントロピーは減少する。確率が少数の高分トークンに集中し、出力はより決定論的で保守的になる。
• T \to 0: 最高ロジットが一意の場合、分布は argmax に集中しエントロピーは 0 に近づき、貪欲法に退化する。最高値が同点の場合、極限でも同点の間で不確実性が残る可能性がある。

つまり、温度を調整することは、文字通り「各ステップの出力がどの程度の不確実性を持つか」を調整することである。

この情報論的解釈は、トークンとサンプリング の補足として機能する: あの記事では top_p / top_k が候補集合をどのように切り捨てるか、および Claude 管理 API がこれらのノブを削除した理由について述べている。ここでは「温度が情報論的に何を変化させるか」のみを補足する——それは出力分布のエントロピーである。両者は補完的であり、重複しない。

直感に反するが重要なポイント

• パープレキシティはトークナイザ間で比較できない。 PPL は「トークンあたり」の量であり、異なるモデルはトークンの切り取り方が異なる——文字レベル、サブワードレベル、単語レベルのモデルの PPL 数値を直接比較することはできない。公平を期すには、文字あたりまたはバイトあたりのビット (bits-per-byte) に換算する必要がある。2つのモデルの PPL を見て結論を下すことは、往々にして異なる単位を比較していることになる。
• 低いパープレキシティは、事実の正確さや回答の有用性とイコールではない。 交差エントロピーは「データ中に実際に出現するトークンに高い確率を与えること」を報酬する。モデルは一般的なテキストの模倣が上手でも、事実誤認を引き起こす可能性がある。逆に、レアだが正しい表現は低い確率を得るかもしれない。PPL は分布予測指標であり、完全な能力スコアではない。
• 情報量が価値とイコールではない。 高エントロピーは結果の不確実性が高いことを示すだけで、内容が創造的であることや質が高いことを意味しない。相互情報量が高いことは統計的依存性が強いことを示すが、因果関係が存在することを意味しない。情報理論は「どの程度の予測可能な構造があるか」に答え、タスクや人間の好意が「これらの構造が有用かどうか」に答える。
• 圧縮能力と理解能力は関連しているが、同義語ではない。 NLL は確かに理想的な符号長に対応しており、予測と圧縮が共通の目標を共有していることを示している。しかし、推論、ツール使用、長期的計画、アライメントは、アーキテクチャ、訓練プロセス、推論メカニズムの影響も受けており、圧縮率のみから単独で導き出すことはできない。
• 理想的な交差エントロピーには超えられない底があるが、現実の底は直接見えない。 固定された分布、単位、条件情報の理想的な設定下では、データの条件エントロピー率が下界を構成する。現実の評価には、有限のコンテキスト、分布のドリフト、モデルの能力、データのノイズが混在している。フィッティングされたスケーリング則の定数項をそのまま「真のエントロピー率」と宣言することはできない。
• KL 罰則の \beta は両刃の剣である。 \beta が小さすぎると、方策は reward hacking によって暴走する。大きすぎると、参照モデルに縛られすぎて新しいことを学べなくなる。それは単なるオプションの正則化項ではなく、アライメントの品質における重要なノブである。
• 温度はモデルパラメータ内の知識を変更せず、既存の出力分布を並べ替えるだけである。 温度は推論時のロジットに対する後処理であり、重みは動かさず、候補トークンの相対的な集中度のみを変更する。これにより、特定の回答がたまたま正しくなるかどうかは変わる可能性があるが、知識の欠如や誤ったモデリングを根本的に修復することはできない。

収束: 一つの言語、一つの網

全体を振り返ろう。一つの LLM において、事前学習（交差エントロピーの最小化）、アライメント（KL 制約による方策ドリフトの抑制）、拡張（圧縮の視点で損失低下を理解可能）、推論（温度による出力エントロピーの調整）——すべての环节が、情報理論によって部分的に明確な説明を得ることができる。

情報理論は、現代の LLM を理解するための共通言語であるため、体系的に学ぶ価値がある。エントロピー、KL / 交差エントロピー、圧縮、チャネル、情報ボトルネック といったツールを手にすることで、損失曲線、アライメントのレシピ、サンプリングパラメータをより正確に読み解くことができる。しかし、事実性、推論、人間の好意の問題に直面した際には、情報理論以外の枠組みも導入する必要がある。

参考文献

• 論文⁠: "Training Compute-Optimal Large Language Models" (Hoffmann et al., 2022 — Chinchilla スケーリング則)
• 論文⁠: "Direct Preference Optimization" (Rafailov et al., 2023 — DPO が KL 制約を暗黙的にエンコードする方法)
• 論文⁠: "Language Modeling Is Compression" (Delétang et al., 2023 — LLM 損失がビットレートであることの実証)
• ドキュメント⁠: トークンとサンプリング、推論と思考 (本リポジトリ既存のサンプリングおよび推論メカニズム)

キーワード: パープレキシティ perplexity, 交差エントロピー損失, 事前学習目的, one-hot, RLHF, PPO, KL 罰則, DPO, reward hacking, スケーリング則, Chinchilla, エントロピー率, 圧縮の視点, サンプリング温度 temperature, 出力エントロピー, 情報量と有用性