#theory

• 源编码与压缩
• 信道容量与编码
• 熵与信息度量
• 率失真与信息瓶颈
• LLM 中的信息论
• KL 散度与交叉熵