theory/01-information-theory

• エントロピーと情報の計測
• KL発散と交差エントロピー
• ソース符号化と圧縮
• チャネル容量と符号化
• 歪み符号化理論と情報ボトルネック
• LLMにおける情報理論