#theory

• 源编码与压缩
• LLM 中的信息论
• 率失真与信息瓶颈
• 熵与信息度量
• KL 散度与交叉熵
• 信道容量与编码