选读：条件信息与数据处理

这篇承接熵与信息度量，可以在掌握联合熵、条件熵、互信息后阅读，不是进入第二篇的前置要求。全文讨论有限离散变量，使用 bit。

两个看似冲突的问题会在这里相遇：⁠增加一个条件，依赖可能变强；继续处理数据，却不能凭空增加信息。 区别在于，我们究竟增加了什么可用信息，又在比较哪些变量。

条件互信息：在每个上下文内比较，再平均

已知 $Z$ 后，$X$ 与 $Y$ 还共享多少信息？先固定 $Z=z$，在该条件分布内计算互信息，再按上下文概率平均：

$$I(X;Y\mid Z)=\sum _{z}p(z)I(X;Y\mid Z=z).$$

等价地，

$$I(X;Y\mid Z)=H(Y\mid Z)-H(Y\mid X,Z).$$

第一项是已经知道上下文后的不确定性，第二项是再知道 $X$ 后的剩余量。条件互信息非负，但它与未给定 $Z$ 时的 $I(X;Y)$ 没有固定的大小关系⁠。

异或：整体独立，分组后却完全关联

取独立公平比特 $X,Y$，定义 $Z=X\oplus Y$。不观察 $Z$ 时，四个组合各占 $1/4$，$I(X;Y)=0$。

给定 $Z=0$，只剩 $(0,0)$ 与 $(1,1)$；给定 $Z=1$，只剩 $(0,1)$ 与 $(1,0)$。每组中单看 $Y$ 仍有 1 bit 不确定性，但知道 $X$ 就能确定 $Y$，所以每组的互信息均为 1 bit，平均也是 1 bit。

这不违背“条件熵平均不增”：这里 $H(Y\mid Z)=H(Y)=1$，而 $H(Y\mid X,Z)=0$。变化的是额外信息 $Z$ 与 $X$ 合在一起提供的预测能力，而不是凭空改变原本的样本。

共同来源：知道上下文后，关联不再提供额外信息

改为公平比特 $Z$，并令 $X=Y=Z$。整体上 $X,Y$ 完全相同，$I(X;Y)=1$。但给定 $Z$ 后，两者都已经确定，于是 $I(X;Y\mid Z)=0$。

这两个例子分别给出条件互信息大于和小于普通互信息的情况。不能简单地说“加条件总会减弱依赖”，也不能把两者之差直接当成一个必定非负的第三块维恩图面积。

数据处理：只能使用已有观测，才有这个界

若 $X\to Y\to Z$ 构成马尔可夫链，即

$$p(x,y,z)=p(x,y)p(z\mid y),$$

那么生成 $Z$ 的过程只读取 $Y$，给定 $Y$ 后不再从 $X$ 得到额外信息。此时数据处理不等式为

$$I(X;Z)\le I(X;Y).$$

它不要求每一步都严格丢失信息：可逆变换可以保留全部信息。也不意味着处理后的表示一定更难用；同样的信息可以被组织得更便于某个受限预测器读取，任务精度与总互信息不是同一个量。

再选择一个观察到的 $Z$，尝试还原 $X$。可逆处理只留下一个候选，成功率为 1；奇偶合并留下两个等概率候选，最优成功率为 $1/2$；常量处理留下四个，成功率为 $1/4$。把结果再改名为 $W=3-Z$ 后，候选集合完全不变：只读处理结果，无法把已经合并的原值重新分开。这里的成功率是这个均匀、确定性分组例子的结论，不是仅凭互信息数值就能推出的一般公式。

图中 $Y=(X+1)\mathrm{mod}4$ 是可逆重标记，完整保留 $X$ 的 2 bit。只保留 $Y$ 的奇偶性后，四种原值被分成两组，只剩 1 bit；把所有值映到常量后，剩余信息为零。丢掉的是原先能区分、现在无法区分的差异。

不等式的差值，正好是一项条件互信息

对同一个 $I(X;Y,Z)$，按两个不同顺序使用互信息链式法则：

$$\begin{array}{rl}I(X;Y,Z)& =I(X;Y)+I(X;Z\mid Y),\\ & =I(X;Z)+I(X;Y\mid Z).\end{array}$$

马尔可夫条件给出 $I(X;Z\mid Y)=0$，所以

$$I(X;Y)-I(X;Z)=I(X;Y\mid Z)\ge 0.$$

右边说的是：⁠看过处理结果 $Z$ 后，旧观测 $Y$ 还能额外告诉我们多少关于 $X$ 的信息。 这就是处理丢掉的部分，也是图中条带的金色部分。等号成立当且仅当这一部分为零；可逆处理是达到等号的一种充分条件，而不是唯一方式。

为什么 XOR 例子没有违反数据处理不等式？

在前面的 XOR 例子里，$Z$ 同时由 $X$ 与 $Y$ 计算而来，不能写成“仅从 $Y$ 生成 $Z$”的这条链。它不满足应用不等式所需的条件。

同样，如果一个处理步骤还能访问原始数据、额外的相关检索结果或其他关于 $X$ 的信息，就要把这些输入包含在观测变量里，再检查正确的马尔可夫关系。不能省去额外输入后，误判为算法违反了数据处理不等式。

表示学习中的相关应用见信息瓶颈。连续变量涉及密度和微分熵，放在高斯信道中另行介绍。

参考

• MIT 6.441，第 2 章：Mutual Information：条件互信息、条件独立与数据处理。
• Cover & Thomas，Elements of Information Theory，第 2 章。