LLMにおける情報理論

前五章のツールをすべてLLMに向けてみる: パープレキシティは交差エントロピーの人間 readable な包装であり、事前学習の目的関数そのものが交差エントロピー損失そのものであり、RLHF/DPOはKLペナルティで方策を縛り、スケーリング法則はエントロピーレートの収束曲線であり、サンプリング温度は出力分布のエントロピーノブそのものである。情報理論はLLMの背景ではなく、その骨格そのものである。

序章: 同じツール、異なる舞台

前五章で扱った量――エントロピー、KLダイバージェンス、交差エントロピー、エントロピーレート、相互情報量――は、通信や圧縮の古き良き時代の用語のように聞こえるかもしれない。本章では、それらを現代のLLMに一つずつ適用していく。そうすると、それぞれが重要な役割を果たしていることに気づくだろう。

事前学習の損失、評価に用いられるパープレキシティ、アライメント時の制約、スケーリング法則の形状、推論時の温度ノブ――⁠これらに新しいものはない。前五章で登場した量が、異なる文脈で現れたものに過ぎない⁠。情報理論はLLMの背景ではなく、その骨格そのものである。一つずつ見ていこう。

交差エントロピー損失: 事前学習の目的関数そのもの

LLMの事前学習は何をしているのか?一言で言えば、交差エントロピーの最小化である。

各ステップで、モデルは語彙全体に対する次のトークンの予測分布 q を出力する。実際の次のトークンは one-hot 分布 p であり（正解トークンの確率が 1、他が 0）、このステップの損失は交差エントロピーとなる:

H(p,q) = -\sum_x p(x) \log q(x) = -\log q(\text{正解トークン})

p が one-hot であるため、和は一項に収束し、損失は「モデルが正解トークンに付けた確率の負の対数」に等しくなる。系列全体の損失は、トークンごとの交差エントロピーの平均である。

第2章、第3章で証明した通り、交差エントロピーの最小化は、D_{KL}(p \parallel q) の最小化 = 最尤推定⁠、かつ モデルを用いた無損失圧縮のビットレート の最小化と等価である。つまり、「LLMを訓練する」ということは、「究極の圧縮器を訓練する」ということと同じことを、別の言葉で表現しているに過ぎない。語彙の分割方法や、one-hot ベクトルの単位はトークナイザに依存し、トークンとサンプリング で詳述する。

パープレキシティ: 交差エントロピーの人間 readable な包装

交差エントロピーの単位は bit（または nat）であり、数値が小さく直感的に理解しにくい。「損失が 2.1」と言われても、具体的なイメージが湧きにくい。

パープレキシティ (Perplexity, PPL) はこれを指数化し、直感的な量に変換する――「平均して何個の等確率の選択肢で迷っているか」というイメージだ:

\text{PPL} = \exp(\text{交差エントロピー}) = 2^{H(p,q)}

（ここでは底を 2 とし、前述の章の bit 基準と一致させている。底を e にすれば \exp となる。）

どう読むか? モデルが各位置で平均して「N 個の等確率のトークン間で揺れている」とすれば、パープレキシティは N となる。完全予測（常に正解を確定させる）の場合、PPL =1。語彙サイズ V でランダムに推測する場合、PPL =V となる。

これは交差エントロピーとの単調な写像関係にあるため、⁠交差エントロピー損失を下げることとパープレキシティを下げることは同じことであり、PPL は人間が見るための目盛りに過ぎない。これが、PPL が言語モデルの古典的な内在的評価指標である理由でもある。つまり、PPL はモデルがデータを圧縮する能力（エントロピーレートの推定値）の読み取り値なのである。

RLHF / DPO における KL ダイバージェンスの役割

事前学習の後はアライメントフェーズである。ここで KLダイバージェンス は別の顔を見せる――「損失」から「手綱」へ。

RLHFのPPO目標関数は、報酬モデルからのリターン最大化に加えて、KLペナルティ項を含んでいる:

\text{目標} = \mathbb E[\text{reward}(x,y)] - \beta \cdot D_{KL}(\pi_\theta(\cdot \mid x) \parallel \pi_\text{ref}(\cdot \mid x))

ここで \pi_\theta は学習中の方策、\pi_\text{ref} は凍結された参照モデル（通常はSFT直後の初期モデル）である。このKL項は、方策が参照モデルから大きく逸脱することを罰し、報酬を高くするために報酬モデルの弱点を突く(reward hacking) ことで、おしゃべりや反復に陥ることを防いでいる。

注意すべきは方向性である。ここでは逆向きのKLを用いているが、第2章の mode-seeking（モード探索）と呼应している。方策は参照モデルの近くで高リターンなモードを探すことを許されるが、遠くへは行けない。\beta が大きいほど、手綱はきつくなる。

DPO (Direct Preference Optimization) はさらに洗練されている。数学的に、KL制約付きのRLHFの最適解が閉形式で得られることが示されている。そのため、DPOは明示的な報酬モデルやPPOをスキップし⁠、選好データ上で直接分類損失を用いて訓練する。

では、KL制約はどこに行ったのか? 消えたわけではない。\beta \cdot D_{KL}(\pi_\theta \parallel \pi_\text{ref}) という正則化項は、DPOの損失関数に暗黙的に折り込まれている。言い換えれば、DPOは手綱を放棄したのではなく、それを目標関数の中に織り込んだため、オンラインサンプリングや明示的なペナルティ項を必要としない。二つの道、同じ一本の手綱。

スケーリング法則: 圧縮の視点

Chinchilla スケーリング法則は、計算予算 C が与えられたとき、モデルパラメータ数 N と訓練トークン数 D は、N \propto C^{0.5}、D \propto C^{0.5} に従って同期して拡大させるべきであり、損失を最小化するにはパラメータをひたすら増やすだけでは不十分だと述べている。

情報論的視点から見れば、この法則は圧縮の視点からの自然な帰結である。

モデルのテスト損失は、データに対する交差エントロピー、すなわち エントロピーレート の推定値である。したがって、損失-計算量曲線は、本質的にエントロピーレートの推定値がパラメータ数/データ量に対して収束する曲線である。モデルが大きく、より多くのデータを見ると、真のデータ分布への圧縮はエントロピーレートの下限に近づき、損失はべき乗則に従って超えられない底（irreducible loss、すなわちデータ自体のエントロピーレート。どんなに強力なモデルでもこれを下回ることはできない）に収束していく。

つまり、「最適なスケーリング」という問題は、翻訳すればこうなる。「計算資源が与えられたとき、このエントロピーレートの推定値をいかに最小限に抑えるか？」 Chinchillaの答えは、パラメータとデータのバランスを取ることだ。これはソース符号化定理の「符号長をエントロピーに近づける」という精神と、一脉相通じている。モデルアーキテクチャがこの曲線に与える影響（例えば、密集型 vs MoE の同等計算量におけるパラメータ効率）は、同じ図の別の断面に過ぎない。

サンプリング温度: 出力分布のエントロピーノブ

推論時のサンプリング温度 (temperature) T は、情報論的には出力分布の エントロピー を直接操作するノブとして解釈できる。手法は、softmaxの前にlogitsを T で割ることである:

• T > 1: 分布は平坦化され、エントロピーは増大する。より多くのトークンが有意な確率を持ち、出力はよりランダムで多様になる。
• T < 1: 分布は尖り⁠、エントロピーは減少する。確率が少数の高スコアトークンに集中し、出力はより決定論的で保守的になる。
• T \to 0: エントロピー \to 0 となり、argmax (greedy) に退化し、ランダム性はほぼなくなる。

つまり、温度を調整することは、文字通り「各ステップの出力がどの程度の不確実性を持つか」を調整することに他ならない。

この情報論的解釈は、トークンとサンプリング への補足として位置づけられる。あの章では top_p / top_k が候補集合をどのように切り捨てるか、そして Claude のホストAPIがなぜこれらのノブを削除したかを扱った。ここでは「温度が情報論的に何を変えたか」を一言補足するに留める――それは出力分布のエントロピーである。両者は補完関係にあり、重複しない。

直感に反するが重要なポイント

• パープレキシティはトークナイザ間で比較できない。 PPL は「トークンあたり」の量であり、異なるモデルは トークンの切り分け粒度が異なる（文字レベル、サブワードレベル、単語レベル）。異なる粒度のモデルのPPL数値を直接比較することはできない。公平に比較するには、文字あたりまたはバイトあたりのビット (bits-per-byte) に換算する必要がある。二つのモデルのPPLを見て結論を下すのは、往々にして異なる単位を比較していることになる。
• 交差エントロピー損失には超えられない底がある。 データ自体にエントロピーレートがあり、どんなに強力なモデルでもそれを下回ることはできない (irreducible loss)。損失曲線がまだ下がっているように見えても、それはこの物理的な下限に収束しているのであり、0 にはならない。「損失がまだ下がるかどうか」を「モデルがまだ強くなるかどうか」と解釈すると、天井の見誤りを招く。
• KLペナルティの \beta は両刃の剣である。 \beta が小さすぎると、方策は報酬ハッキングで暴走する。大きすぎると、参照モデルに縛り付けられ、新しいことを学べなくなる。これは単なるオプションの正則化項ではなく、アライメントの品質を左右する重要なノブである。
• 温度はモデルが「知っていること」を変えず、「言うこと」だけを変える。 温度は推論時にlogitsに対して行われる後処理であり、重みやモデルによる世界モデルを変化させず、既存の分布上でエントロピーを調整するに過ぎない。温度を調整することで事実誤認を修正できると期待するのは、間違ったアプローチである。

収束: 一つの言語、一つの網

全体を振り返ろう。一つのLLMにおいて、事前学習（交差エントロピーの最小化 = 究極の圧縮）、アライメント（KL制約で方策を縛る）、拡張（スケーリング法則に従うエントロピーレートの収束）、推論（温度による出力エントロピーの調整）――⁠すべての环节が情報論的量の直接的な応用である⁠。

情報理論を体系的に学ぶ価値があるのは、それが優雅だからではなく、現代のLLMを理解するための共通言語だからである。エントロピー、KL / 交差エントロピー、圧縮、チャネル、情報ボトルネック というこれらのツールを手にすれば、モデルの損失曲線、アライメントのレシピ、サンプリングパラメータは、すべて同じものが異なる位置で現れたものに過ぎないことがわかる。

参考文献

• 論文⁠: "Training Compute-Optimal Large Language Models" (Hoffmann et al., 2022 — Chinchilla スケーリング法則)
• 論文⁠: "Direct Preference Optimization" (Rafailov et al., 2023 — DPO が KL 制約を暗黙的にどのようにエンコードするか)
• 論文⁠: "Language Modeling Is Compression" (Delétang et al., 2023 — LLM 損失がビットレートであることを実証)
• ドキュメント⁠: トークンとサンプリング、推論と思考 (本リポジトリ既存のサンプリングおよび推論メカニズム)

キーワード: パープレキシティ perplexity, 交差エントロピー損失, 事前学習目的関数, one-hot, RLHF, PPO, KLペナルティ, DPO, reward hacking, スケーリング法則, Chinchilla, エントロピーレート, irreducible loss, サンプリング温度 temperature, 出力エントロピー