率失真与信息瓶颈

压缩不一定要还原所有细节。关键是先说清楚“哪些差异可以忽略”，再问保留这些信息需要多少比特。

从精确还原，到允许有用的省略

第三篇的源编码 要求无损重建。第四篇的信道编码 则用冗余抵抗传输噪声。本篇换一个问题：如果应用本来就允许一定误差，压缩下界会怎样变化？

图像或音频压缩可以舍弃部分感知不敏感的细节；分类器可以忽略与标签无关的背景。但“可以舍弃”取决于目标：对人眼不明显的像素变化，仍可能影响测量或识别。必须先定义失真，而不是先假设丢掉的信息都没有价值。

R(D) 的 min：在所有重建方式里挑选

令 $X$ 是原始符号，$\hat{X}$ 是重建符号，$d(x,\hat{x})$ 衡量一次重建的代价。对独立同分布信源、逐符号可加的失真，率失真函数给出长块编码在平均失真约束下的渐近最低码率：

$$R(D)=\underset{p(\hat{x}\mid x):\mathbb{E}[d(X,\hat{X})]\le D}{\min }I(X;\hat{X}).$$

这里优化的是整个重建条件分布 $p(\hat{x}\mid x)$。$D$ 只限制平均误差，不规定必须怎样犯错。不同重建方式可能达到相同失真，却保留不同数量的原始信息；$\min$ 选择其中最省信息的一个。单位是 bit/源符号，单字母公式背后是允许编码块长度增长的定理，不是某个逐符号压缩器的实际输出长度。

$R(D)$ 单调不增，在上述标准设定下为凸函数。放宽失真约束只会扩大可选集合，因此最优码率不会上升；把两种编码分配给不同部分的长序列，则给出凸性的时间共享直觉。

阴影表示渐近可达区域，蓝线是其码率下边界。固定一个失真预算，沿竖直方向向上看，允许使用更高码率；向下越过曲线则不可达。

示意图采用有限离散字母表，以及只有精确重建才为零的失真。此时 $R(0)=H(X)$；连续高斯信源配平方误差时，$R(0)=\infty$，不能用微分熵替代这个端点。

零码率端点也有明确含义。若允许的失真达到

$$D_0=\underset{\hat{x}}{\min }\mathbb{E}[d(X,\hat{x})],$$

解码器始终输出同一个常数便能满足要求，无须传输消息。因此 $D\ge D_0$ 时 $R(D)=0$。

同样允许 20% 错误，随机翻转为什么还不够好？

考虑 $X\sim \mathrm{Bernoulli}(0.2)$，失真是出错记 1、正确记 0 的汉明失真。记二元熵为 $h_2$，则

$$R(D)=\{\begin{array}{ll}{h}_2(0.2)-h_2(D),& 0\le D\le 0.2,\\ 0,& D\ge \mathrm{0.2.}\end{array}$$

一种直觉做法是独立地以概率 $D$ 翻转 $X$。它确实造成平均错误率 $D$，但互信息是 $h_2(0.2+0.6D)-h_2(D)$，通常高于下界。到 $D=0.2$ 时，它仍让重建结果携带一部分输入信息；而永远输出 0 已经能满足 20% 错误率，根本不需要这些信息。

为什么蓝线恰好能取到？定义错误变量 $Z=X\oplus \hat{X}$。对 $D\le 0.2$，

$$H(X\mid \hat{X})=H(Z\mid \hat{X})\le H(Z)\le h_2(D),$$

所以 $I(X;\hat{X})\ge h_2(0.2)-h_2(D)$。要达到等号，可以反过来构造：先取 $\hat{X}\sim \mathrm{Bernoulli}(q)$，再令 $X=\hat{X}\oplus Z$，其中 $Z\sim \mathrm{Bernoulli}(D)$ 与 $\hat{X}$ 独立。为了让 $P(X=1)$ 仍为 0.2，需要

$$0.2=D+q(1-2D)\Rightarrow q=\frac{0.2-D}{1-2D}.$$

这保证了正确的源分布、平均失真和相互信息，也就给出可达下界的联合分布。注意独立性在错误与重建之间⁠，不是错误与原始输入之间；这正是两条曲线不同的原因。

信息瓶颈：把“还原输入”换成“保留任务信息”

率失真先指定 $d(x,\hat{x})$。但学习表示时，我们往往关心标签 $Y$，而不必还原 $X$ 的每个细节。信息瓶颈（IB）固定数据联合分布 $p(x,y)$，选择随机编码器 $p(t\mid x)$：

$$\underset{p(t\mid x)}{\min }{J}_{\mathrm{IB}}=I(X;T)-\beta I(T;Y),\beta \ge 0.$$

第一项衡量表示记住多少输入信息；第二项奖励它保留多少与任务有关的信息。$\beta$ 越大，越重视保留任务信息。这里的压缩量是互信息，⁠不是向量维度或文件大小⁠；低维连续向量并不自动意味着低互信息。

图取下方的颜色／形状例子：四种输入等概率，颜色与形状独立，任务只识别颜色。两种形状汇入同一个颜色表示，输入的 2 bit 压成 1 bit，颜色标签仍能被完整预测。

概率关系是 $p(x,y,t)=p(x,y)p(t\mid x)$，即 $Y\to X\to T$，表示编码器只读输入；图中的 $X\to T\to \hat{Y}$ 是预测流程，$\hat{Y}$ 才是预测值，不能把这两种箭头混为一谈。

要看见合并后哪些原值再也分不开，以及为何再次加工不能还原它们，可以操作数据处理与还原实验。

相同的压缩量，可以丢掉完全不同的信息

设输入 $X=(S,N)$：$S$ 是颜色，$N$ 是形状，两者是独立的公平比特，标签为 $Y=S$。输入总熵为 2 bit，任务信息最多为 1 bit。

保留颜色 $T=S$ 时，$I(X;T)=I(T;Y)=1$；保留形状 $T=N$ 时，$I(X;T)=1$，但 $I(T;Y)=0$。⁠同样压缩到 1 bit，任务价值可以完全不同。 全保留给出 $(2,1)$，不如只留颜色的 $(1,1)$；全合并给出 $(0,0)$，压缩最彻底却无法预测标签。

在这个特例里，$I(T;Y)\le I(X;T)$ 且 $I(T;Y)\le 1$。所以 $\beta <1$ 时 $J\ge 0$，常量表示最优；$\beta >1$ 时 $J\ge 1-\beta$，保留颜色达到最优；$\beta =1$ 时两者并列。这是目标函数的权衡结果，不意味着“信息越少，泛化就一定越好”。

“先拟合后压缩”是观察，不是普遍训练定律

信息平面把每层表示放在 $(I(X;T),I(T;Y))$ 上。Shwartz-Ziv 与 Tishby 在特定网络和估计设定下观察到拟合与压缩阶段，由此提出理解深度学习的一种视角。

但不能把图上的移动直接当作泛化的原因。互信息估计会受离散分箱、噪声、激活函数与样本量影响；对连续输入的确定性表示，互信息还可能是无限大，必须说明采用了什么概率模型和估计口径。后续研究对压缩阶段的普遍性提出了反例与限制。IB 提供了一种可定义、可分析的学习目标，并未证明所有网络都按相同轨迹训练。

对比学习：相关，但不自动等于信息瓶颈

InfoNCE 通过区分正样本和负样本学习表示。在正样本来自联合分布、负样本按相应边缘分布独立抽取等条件下，若候选总数为 $K$，使用自然对数的损失满足

$$I(U;V)\ge \log K-{\mathcal{L}}_{\mathrm{NCE}}.$$

降低损失是在提高一个互信息下界，不是直接测量真实互信息；下界受采样方式和 $K$ 影响，且不超过 $\log K$。这与 IB 的“保留相关信息”有联系，但普通 InfoNCE 没有显式的 $I(X;T)$ 压缩项，不能把所有对比学习都称作 IB 优化。

下一篇把这些量放回实际建模： LLM 中的信息论。

参考

• Stanford：Rate-Distortion Theory；Cover & Thomas，Elements of Information Theory，第 10 章。
• The Information Bottleneck Method，Tishby、Pereira 与 Bialek。
• Opening the Black Box of Deep Neural Networks via Information，Shwartz-Ziv 与 Tishby，2017。
• On the Information Bottleneck Theory of Deep Learning，Saxe 等，2018。
• Representation Learning with Contrastive Predictive Coding，van den Oord 等，2018。

关键词：率失真、R(D)、有损压缩、信息瓶颈、互信息、任务相关表示、InfoNCE