LLM 中的信息论

同一套概率，既可以读成预测损失，也可以读成理想码长。但输出的随机性、模型的知识与回答的价值，需要分别讨论。

交叉熵：给实际出现的 token 多少概率

在位置 $t$，模型根据上下文 $x_{<t}$ 输出词表上的分布 $q_{\theta }(\cdot \mid x_{<t})$。用 $e_{x_t}$ 表示本次观测 token 的 one-hot 向量，这一步的损失为

$$H(e_{x_t},q_{\theta })=-\log q_{\theta }(x_t\mid x_{<t}).$$

one-hot 只是一次观测的目标表示⁠，不是说真实数据在这个上下文下只有一个可能的后续。在总体分布上，期望交叉熵可拆成数据条件熵与条件 KL 的平均；在有限训练集上，最小化逐 token 的负对数似然（NLL）就是最大似然学习。

把相同概率交给算术编码或 ANS，可以获得接近 NLL 的无损编码长度。真正的压缩系统仍需考虑编码开销、模型成本以及编解码双方共享的上下文；预测与压缩的联系 不等于“一个模型文件本身就是压缩器”。

困惑度：几何平均藏在指数里

固定评测序列，简写 $q_t=q_{\theta }(x_t\mid x_{<t})$，并只对参与评测的 $n$ 个 token 求平均：

$${\bar{L}}_2=-\frac{1}{n}\sum _{t=1}^n{\log }_2{q}_t,\mathrm{PPL}=2^{{\bar{L}}_2}={\left(\prod _{t=1}^n\frac{1}{q_t}\right)}^{1/n}.$$

所以 PPL 是逐项 $1/q_t$ 的几何平均⁠，而不是算术平均。用自然对数计算损失时，同一个数应写作 $\mathrm{PPL}=e^{{\bar{L}}_e}$；底数与单位必须配套。

图中三个位置分别给已观测 token 概率 $0.5,0.25,0.125$；它们来自不同上下文，不是一份词表分布。对应码长为 $1,2,3$ bit，虚线均值为 $2$ bit，因此 PPL 为 $4$。右侧四个等大格是相同 PPL 的均匀四选一基准，并非原模型的候选数。

若每个观测 token 都得到 $1/N$ 的概率，PPL 恰好为 $N$，这才是“等效选项数”的精确例子。一般分布下，它既不是候选 token 个数，也不是四处数一数“模型在几个选项之间犹豫”。

例如 $q=(1/2,1/2,1/2,1/2)$ 与 $q=(1/4,1,1/2,1/2)$ 的联合概率都为 $1/16$，平均损失都是 1 bit，PPL 都是 2。后者若直接平均 $1/q_t$，会得到 $9/4$，这不是 PPL。一个低概率的真实 token 会拉高 NLL；如果它的概率是零，损失和 PPL 则是无限大。

比较 PPL 需要统一语料、分词、上下文长度与计分规则。跨分词器时应先换算到每字节等共同单位，并保持相同原始文本与处理口径；仅换单位也无法修复不同评测集造成的差异。PPL 读的是模型的交叉熵率⁠，不是直接测出的真实数据熵率。

KL 正则：为什么最优策略会“指数倾斜”

固定提示词 $x$，省略条件记号。KL 正则化的奖励目标是

$$J(\pi )={\mathbb{E}}_{y\sim \pi }[r(y)]-\beta D_{\mathrm{KL}}(\pi \parallel {\pi }_{\mathrm{ref}}),\beta >0.$$

这是 RLHF 中可用 PPO 等方法优化的目标形式，不是 PPO 算法的全部。方向是新策略到参考策略：把概率移到参考极少支持的回答上，会付出较大代价。它可以限制策略漂移，但不能保证奖励模型没有漏洞，也不能单独保证回答有用。

对有限回答空间、正的参考概率，直接在所有分布中求最优可得

$${\pi }^{\ast }(y)=\frac{{\pi }_{\mathrm{ref}}(y)\exp (r(y)/\beta )}{Z},Z=\sum _y{\pi }_{\mathrm{ref}}(y)\exp (r(y)/\beta ).$$

公式有三步：从参考概率出发，乘上奖励的指数权重，再除以总量 $Z$。奖励相同的回答保持原概率比；奖励差越大、$\beta$ 越小，比值改变越明显。若参考概率为零，有限 KL 的策略也必须在该处为零；不能凭此公式突破参考分布的支持集。

最优性不必凭直觉相信。代入 $\log {\pi }^{\ast }=\log {\pi }_{\mathrm{ref}}+r/\beta -\log Z$，整理后得到

$$J(\pi )=\beta \log Z-\beta D_{\mathrm{KL}}(\pi \parallel {\pi }^{\ast }).$$

第一项与待选的 $\pi$ 无关，第二项非正，因此 $\pi ={\pi }^{\ast }$ 达到最大值。这里 KL 使用 nat；更换对数底数时要相应调整惩罚系数。⁠分布的闭式解并不等于神经网络参数的闭式解⁠，更不是实际训练必然收敛到这里。

DPO 怎样用上这条关系？

将上式反解为奖励，可以写成

$$r(x,y)=\beta \log \frac{{\pi }^{\ast }(y\mid x)}{{\pi }_{\mathrm{ref}}(y\mid x)}+\beta \log Z(x).$$

Bradley–Terry 偏好模型只依赖两个回答的奖励差，因此同一提示词下的 $\log Z(x)$ 抵消。把策略换成待学习的 ${\pi }_{\theta }$，一对偏好数据 $(y_w,y_l)$ 的 DPO 损失就是

$$-\log \sigma \left(\beta \left[\log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\mathrm{ref}}(y_w\mid x)}-\log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\mathrm{ref}}(y_l\mid x)}\right]\right).$$

它比较的是两个回答相对参考模型的对数概率提升⁠。标准 DPO 用偏好数据直接拟合这个目标，省去单独的显式奖励模型和 PPO 环节。推导与 KL 正则目标相连，但有限数据、模型参数化和优化误差仍会影响结果；不能据此认定 DPO 与 PPO 得到相同策略，也不能把 DPO 的 $\beta$ 直接读成最终 KL 的硬预算。

Scaling law：压缩视角有用，指数仍是经验结果

Chinchilla 在其模型族、数据与拟合范围内发现，计算最优的参数量和训练 token 数应随算力大致同步增长。原文常用的近似是 $N\propto C^{0.5}$、$D\propto C^{0.5}$，不是对所有模型和训练条件都成立的常数。

固定评测设置后，交叉熵下降可解释为理想平均码长下降。这个视角把“如何分配算力”转成“怎样把测试交叉熵降得更低”，但源编码定理本身推不出 scaling law 的形状或指数。有限上下文下的条件熵、无限历史下的熵率、经验拟合中的常数项，也不是可以直接互换的量。架构、优化和数据质量仍要分别研究，见 稠密模型与 MoE。

温度：除 logits，为什么就改变了随机性？

对固定的有限 logits $z_i$ 和 $T>0$，

$$q_T(i)=\frac{e^{z_i/T}}{{\sum }_j{e}^{z_j/T}},\frac{q_T(i)}{q_T(j)}=\exp \left(\frac{z_i-z_j}{T}\right).$$

第二个式子解释了第一个：温度缩小的是对数概率比的差距⁠。升温使候选概率更接近，降温放大原有差距。对固定 logits、不施加其他截断时，分布熵随温度单调不减；它说的是采样分布的不确定性，不是知识量增加。

如果想看严格原因，用自然对数写 $H(q_T)=\log Z_T-{\mathbb{E}}_{q_T}[z]/T$。求导时两项的一部分抵消，剩下

$$\frac{\mathrm{d}{H}_e(q_T)}{\mathrm{d}T}=\frac{{\mathrm{Var}}_{q_T}(z)}{T^3}\ge 0.$$

唯一最大 logit 在 $T\to 0$ 时独占概率，熵趋于 0；若有 $m$ 项并列最大，极限在它们之间均匀分布，熵为 ${\log }_{2}m$。$T\to \infty$ 时有限词表趋于均匀。实际生成再叠加 top-k、top-p 等采样操作 后，应分析最终分布，不能直接套用未截断的曲线。

把几个容易混淆的量分开

温度不会修改权重里的知识，低 PPL 也不会自动消除幻觉；更小的 KL 不等于更好的对齐。信息论让这些问题有了明确的测量语言，而事实性、推理和人类偏好仍需要相应的评测。

参考

• Perplexity of fixed-length models，Hugging Face：分词与上下文对 PPL 的影响。
• Direct Preference Optimization，Rafailov 等，2023：KL 正则目标、最优策略与偏好重参数化。
• Training Compute-Optimal Large Language Models，Hoffmann 等，2022。
• Language Modeling Is Compression，Delétang 等，2023。

关键词：困惑度、几何平均、交叉熵、NLL、RLHF、KL 正则、DPO、scaling law、温度、softmax