歪み符号化理論と情報ボトルネック

わずかな歪みを許容すれば、より強力に圧縮できる——歪み符号化理論 R(D) は「歪み D を許容する場合に必要な最小ビット数」を示す。情報ボトルネックはこの考え方を機械学習に持ち込む：入力 I(X;T) を小さく圧縮しつつ、予測情報 I(T;Y) を大きく保持する表現 T を学習する。これは深層ネットワークの「まず記憶し、その後圧縮する」という現象を理解するための理論的枠組みとなる。

導入：歪みを許容すれば、上限が緩む

前章のソース符号化はすべて無歪み（ロスレス）であった——再構築はビット単位で正確に行われ、下限はエントロピーで固定されていた。

しかし、多くの場面では正確な再構築は必要ない。JPEG は人間の目に感知されにくい高周波の詳細を捨て、MP3 は聴覚マスキングによって隠蔽される周波数帯域を捨てる。ニューラルネットワークの中間表現も、タスクと無関係な情報を捨てる。これらは意図的な「破棄」であり、実際にはほとんど気づかれない。

歪み(distortion) を許容できるようになると、圧縮可能な空間が急激に拡大する。同時に問題の形も変化する：もはや「無歪みで何ビット必要か」を問うのではなく、「許容できる歪みの上限が与えられたとき、最小で何ビット必要か？」 を問うことになる。本章ではまずこの問題（歪み符号化）に答え、同じ考え方を機械学習に適用する（情報ボトルネック）。

歪み符号化関数 R(D)

「歪みを許容する」ことを語るには、まず歪みを定量化する必要がある。⁠歪み符号化理論(rate-distortion theory) は、歪み尺度 d(x, \hat{x})（例えば二乗誤差やハミング距離）を用いて、「再構築 \hat{x} と元の x の差の大きさ」を測る。

歪み符号化関数 は、平均歪みが D を超えないことを保証しつつ、必要な最小ビット率として定義される。

R(D) = \min_{p(\hat{x} \mid x):\, \mathbb{E}[d]\leq D} I(X; \hat{X})

これは単調減少する曲線である：許容する歪み D が大きければ大きいほど、必要なビット率 R は低くなる。両端の値が最も示唆的である。

• D=0（歪み不可）：R(0) = H(X) となり、無歪み圧縮のエントロピー下限に後退する。
• D が「すべてを定数で推測しても平均的に許容できる」ほど大きい場合：R(D)=0 となり、1 ビットも送信する必要がない。

R(D) は有歪み圧縮において、エントロピーが無歪み圧縮において果たす役割と同じである——どちらも越えられない理論的下界である。曲線上部は到達可能領域であり、下部は物理的に実現不可能である。

情報ボトルネックの原理

さて、この考え方を別の文脈に持ち込んでみよう。⁠情報ボトルネック(Information Bottleneck, Tishby 1999) は、歪み符号化を表現学習に一般化する——ただし、「歪み」は画素誤差ではなく、「タスクに関連する情報がどれだけ失われたか」によって測られる。

設定は以下の通り：入力 X、予測すべきラベル Y があり、中間表現 T（X の某种の圧縮）を学習したい。良い T は、互いに相反する2つの目標を同時に満たす必要がある。

• 圧縮⁠：I(X;T) をできるだけ小さくする。T は X に関する情報をできるだけ少なく保ち、無関係な詳細をすべて捨てる。
• 忠実度⁠：I(T;Y) をできるだけ大きくする。T は Y を予測するために有用な情報をできるだけ多く保持する。

これらの2つの力をラグランジュ目的関数に統合する：

\min\ I(X;T) - \beta \cdot I(T;Y)

\beta はトレードオフのノブである：\beta が小さいと強力な圧縮を指向し、\beta が大きいと情報の保持を指向する。ここで X \to T \to Y はマルコフ連鎖を形成する（T は X を通じてのみ情報を受け取り、Y を空から知ることはできない）。T がまさにその中間にある「ボトルネック」である。

深層ネットワークの「まず記憶し、その後圧縮する」

情報ボトルネックが注目される理由は、Tishby たちの観察にある。

深層ネットワークの訓練中に、各層の軌跡を (I(X;T),\ I(T;Y)) 平面上で追跡すると、しばしば2つの段階が見られる：⁠まず適合フェーズで I(T;Y) が急激に上昇し、ネットワークが訓練データを「記憶」する。⁠次に圧縮フェーズで I(X;T) がゆっくりと減少し、ラベルと無関係な入力情報が押し出され、汎化性能が向上する。

これは「深層学習がなぜ汎化できるか」に対して、情報論的な視点を提供する：⁠良い表現とは、圧縮された表現である⁠。

正直に注記する必要がある：この「圧縮フェーズ」が普遍的に存在するのか、あるいはそれが汎化の原因なのかについては、学界で依然として議論がある（活性化関数や相互情報の推定方法に依存するという指摘もある）。したがって、これを決定論ではなく示唆的な枠組みとして扱うべきである——しかし、情報量を用いて表現の品質を記述する言語を提供するという点自体、価値がある。

表現学習と対照的学習との接続

情報ボトルネックにおける「I(T;Y) を最大化する」という考え方は、現代の自己教師あり / 対照的学習へと直接つながる。

InfoNCE（SimCLR、CPC などで使用される損失関数）を例に取ろう：それは本質的に相互情報 I の計算可能な下界である。InfoNCE を最小化することは、正のサンプルペア間の表現の相互情報を最大化すること、つまり表現が「何が同じものなのか」に関する情報を保持することを意味する。

さらに見ていくと、表現学習の多くの目的は、情報ボトルネックの2つの方向のいずれかで作業していることがわかる——圧縮するか、情報を保持するか。ここでは InfoNCE の下界導出には立ち入らない。

これらのツールが LLM の文脈でどのように実装されるか——パープレキシティ、RLHF における KL 分散、スケーリング則の圧縮的視点——は、LLM における情報論に集約される。

参考文献

• 論文⁠: "The Information Bottleneck Method" (Tishby, Pereira & Bialek, 1999 — 情報ボトルネックの原論文)
• 論文⁠: "Opening the Black Box of Deep Neural Networks via Information" (Shwartz-Ziv & Tishby, 2017 — 適合/圧縮の2段階の観察、議論を含む)
• 教科書⁠: "Elements of Information Theory" (Cover & Thomas — 第10章 歪み符号化理論)
• 論文⁠: "Representation Learning with Contrastive Predictive Coding" (Oord et al., 2018 — 相互情報下界としての InfoNCE)

キーワード: 歪み符号化 rate-distortion, R(D) 関数, 有歪み圧縮, 情報ボトルネック Information Bottleneck, Tishby, マルコフ連鎖 X→T→Y, 圧縮と忠実度のトレードオフ, まず記憶しその後圧縮, 表現学習, InfoNCE, 対照的学習