KL 散度与交叉熵

上一章的熵回答了“这个分布平均有多少信息”。这一章再问一步：⁠数据分布没变，但我们对它的预期错了，会多付多少代价？

三个概念可以沿着同一条线理解：熵是源分布自身的平均信息量，交叉熵是按另一个分布计算的信息长度的平均，KL 散度是两者的差。

用错分布，多花的是什么？

设真实分布为 $p$，模型分布为 $q$。模型把结果 $x$ 的理想信息长度设为 $-{\log }_{2}q(x)$：越认为它常见，分配的长度越短。

数据仍按 $p$ 出现，所以平均时要用 $p$ 加权：

$$H(p,q)=-\sum _{x}p(x){\log }_{2}q(x)$$

这就是交叉熵⁠。若模型与真实分布一致，得到 $H(p,p)=H(p)$。

这里的 $-{\log }_{2}q(x)$ 可以是小数，表示理想信息长度。实际逐符号的二进制前缀码长度必须取整数；在适当的独立同分布长块编码中，每符号平均长度可以逼近对应的交叉熵，不能直接把两者说成任意有限编码的精确码长。编码关系可参阅 Stanford 数据压缩课程。

相对熵 / KL 散度定义为：

$$D_{KL}(p\parallel q)=\sum _{x}p(x){\log }_2\frac{p(x)}{q(x)}=H(p,q)-H(p)$$

$D_{KL}(p\parallel q)\ge 0$，等号当且仅当两个分布相同。它刻画的是平均的额外代价⁠。某个结果用 $q$ 计算可能更便宜，对应的单项可以为负；不能把“总 KL 非负”理解成“每一项都非负”。

若 $p(x)>0$ 而 $q(x)=0$，模型给真实可能发生的结果分配了无限信息长度，交叉熵和这个方向的 KL 都为 $\infty$。$p(x)=0$ 的项按极限约定贡献为 $0$。

为什么交换方向，结果会不同？

在 $D_{KL}(p\parallel q)$ 中，我们对来自 $p$ 的结果取平均；在 $D_{KL}(q\parallel p)$ 中，平均的权重换成了 $q$，对数比值也取了倒数。

以下固定 $p=(0.5,0.5)$、$q=(0.9,0.1)$，只交换计算方向。零线上方是正项，下方是负项；带符号面积相加才是 KL。

两个结果分别约为 $0.737$ bit 和 $0.531$ bit。这不是舍入差异，而是两个不同的期望。因此 KL 不满足一般距离要求的对称性，也不满足一般的三角不等式。

支撑集条件也有方向：$p$ 在某处有质量而 $q$ 为零，会使 $D_{KL}(p\parallel q)$ 发散；交换方向后，检查的则是 $q$ 有质量而 $p$ 为零的区域。连续分布要把求和换成积分，并按具有非零概率质量的区域理解这个条件，而非仅看一个孤立点。

交叉熵为什么成为分类损失？

当目标分布 $p$ 固定、只调整模型 $q_{\theta }$ 时：

$$H(p,q_{\theta })=H(p)+D_{KL}(p\parallel q_{\theta })$$

$H(p)$ 不随模型参数变化，所以最小化交叉熵与最小化这个方向的 KL 等价。

在单个有标签样本 $(x_i,y_i)$ 上，通常用 one-hot 的经验目标表示观测到的标签。它不意味着真实的条件分布 $p(y\mid x_i)$ 必然确定。对这个经验目标计算交叉熵，得到：

$${\ell }_i=-\log q_{\theta }(y_i\mid x_i)$$

对给定样本，采用条件似然乘积时：

$$\sum _i-\log q_{\theta }(y_i\mid x_i)=-\log \prod _i{q}_{\theta }(y_i\mid x_i)$$

因此，最小化经验交叉熵就是最大化相应的条件似然。总体交叉熵则是在真实数据分布下取期望，训练集平均是对它的经验估计。

实践中常用自然对数，损失单位是 nat；本文用以 $2$ 为底的对数，单位是 bit。两者只差一个正的常数因子，最优解相同。自回归语言模型的 token 级负对数似然也采用这条链式分解，见 LLM 中的信息论。

Forward / reverse KL：同一个模型族，两种拟合目标

令 $p$ 固定，优化近似 $q$。称 $D_{KL}(p\parallel q)$ 为 forward KL，$D_{KL}(q\parallel p)$ 为 reverse KL。⁠如果 $q$ 能表示 $p$，两个方向都可以在 $q=p$ 处达到零。 行为差异在模型表达能力受限时尤其明显。

先用静态示意图并列看两种典型形状：当目标的两峰充分分离、近似限制为单个高斯时，forward 可以铺开覆盖两侧，reverse 可以集中在一侧。曲线用于说明形状，不表示精确的数值拟合。

灰色虚线是目标 $p$，彩色实线是近似 $q$；两幅图共用坐标尺度。这里展示的是充分分离时的典型形状，不是所有受限模型都必然出现的结果。

下面用一个具体、可计算的限制：目标是两个单位方差高斯的等权混合，近似只能是一个高斯。

$$p(x)=\frac{1}{2}\mathcal{N}(x;-d/2,1)+\frac{1}{2}\mathcal{N}(x;d/2,1),q(x)=\mathcal{N}(x;\mu ,{\sigma }^2)$$

唯一改变的是两个分量的中心间距 $d$；混合分布在它们靠近时可以只有一个峰。两列分别针对自己的目标重新拟合 $\mu ,\sigma$，并使用相同的坐标尺度。

Forward KL 的高斯最优解匹配 $p$ 的均值与方差：$\mu =0$、${\sigma }^2=1+d^2/4$。两峰分离时，拟合会随之变宽。Reverse KL 在 $q$ 下取期望；当两峰足够分离时，它可能通过靠近一侧来减少落在中间低密度区的质量。

这是一种有条件的拟合倾向⁠，不是“forward 一定覆盖、reverse 一定寻峰”的普遍定理。峰距、权重、允许的模型族与优化结果都会影响行为。图中的 reverse 解来自多起点数值优化；对称的左侧解同样好，展示其中一侧不表示另一侧更差。Bishop 的 PRML 第 10.1 节 讨论了这类差异。

变分推断常最小化近似后验到真实后验的 KL。RLHF 中常见的 $D_{KL}({\pi }_{\theta }\parallel {\pi }_{\mathrm{ref}})$ 则是限制策略偏离参考模型的正则项，还与奖励等目标共同作用，不能直接等同于这里的双峰拟合。

Jensen–Shannon 散度：先找一个共同参照

令 $m=(p+q)/2$，定义：

$$\mathrm{JS}(p,q)=\frac{1}{2}{D}_{KL}(p\parallel m)+\frac{1}{2}{D}_{KL}(q\parallel m)$$

由于 $m$ 在 $p$ 或 $q$ 有质量的地方都不会为零，JS 避免了两者支撑集不重叠时直接互算 KL 的无穷大。以 $2$ 为底时，$0\le \mathrm{JS}\le 1$ bit。它对称，但应注意：⁠构成度量的是 $\sqrt{\mathrm{JS}}$，不是直接把 JS 当作一般距离。

例如 $p=(1,0)$、$q=(0,1)$ 时，两个方向的 KL 都为无穷大；$m=(0.5,0.5)$，两侧到 $m$ 的 KL 各为 $1$ bit，因此 JS 为 $1$ bit。

原始 GAN 的联系也有条件：在判别器对固定生成器达到最优时，将它代回原始 minimax 目标，生成器的目标值成为 $-\ln 4+2{\mathrm{JS}}_{\ln }(p_{\mathrm{data}},p_g)$。这是使用自然对数的 JS；并非“判别器在最小化 JS”。常用的非饱和生成器损失也不等于这个表达式。见 Goodfellow 等人的原始论文，第 3、4.1 节。

对照与参考

• Cover & Thomas，《Elements of Information Theory》，第 2 章：相对熵与 Gibbs 不等式。
• Stanford 数据压缩课程：熵与负对数似然。
• Bishop，《Pattern Recognition and Machine Learning》，第 10.1 节。
• Goodfellow et al., Generative Adversarial Nets (2014)。