theory

• 01-信息论
• 熵与信息度量
• KL 散度与交叉熵
• 源编码与压缩
• 信道容量与编码
• 率失真与信息瓶颈
• LLM 中的信息论