このページの目次
チャネル容量と符号化
シャノンのチャネル符号化定理は、情報論において最も直感に反する結論である。選択した伝送速度がチャネル容量 C=\max I(X;Y) よりも低ければ、より長く、より賢明な符号化によって誤り率を任意のゼロに近い値に押し下げることができ、誤り率をさらに下げるために速度をゼロまで下げ続ける必要はない。この定理は通信の漸近的限界を定義する。
導入: 間違いなくエラーが発生する回線
前の章では「いかにして情報を圧縮するか」を扱った。本章ではその逆、情報をエラーが発生する回線を通過させて相手に届け、ノイズによって情報が破壊されないようにするにはどうすればよいかを考える。
回線はビットを反転させ、ノイズを加える。最も愚かな対策は冗長性を加えることだ——各ビットを3回再送し、受信側で多数決を取る。しかしこれでは速度は直接 1/3 に落ち、ノイズが大きいと依然としてエラーが発生する。
1948年にシャノンが提示した答えは、当時学界全体を驚かせた。閾値より低い正の速度を事前に选定すれば、符号長を増やし符号化を改善することで、誤り率を任意のゼロに近い値に押し下げることができ、目標とする誤り率が低下するにつれて速度をゼロへ向けて下げ続ける必要はない。この閾値がチャネル容量である。本章ではこれを明確にする。
チャネルモデル: ノイズをどうモデル化するか
計算可能なノイズモデルが必要である。チャネル(channel) とは、入力 X を出力 Y に変換するノイズ付きのマッピングであり、条件分布 p(y \mid x) によって記述される。直感を支える最も基本的なモデルが2つある。
- バイナリ対称チャネル (Binary Symmetric Channel, BSC): 入力は 0 / 1 で、確率 p で反転し（0 が 1 に、または 1 が 0 に）、確率 1-p で正しく通過する。ここで言う p が誤ビット率である。これはデジタル通信の最も単純な抽象化であり、各ビットが独立して一定の確率でノイズによってひっくり返される。
- 加性ガウス白ノイズチャネル (AWGN): 出力は Y = X + N であり、ここで N は平均 0、分散 \sigma^2 のガウスノイズである。これはアナログ / ワイヤレスチャネルの標準モデルである。信号は伝送中にランダムなノイズの層を重ねられ、信号対雑音比 \text{SNR} が高いほど、ノイズは相対的に小さくなる。
チャネルの本質的な制約は、ノイズによって受信側が発信されたものが何であるかを完全に特定できないこと、すなわち Y は X に関する部分的な情報しか持っていないことである。そしてこの「部分」がどれほど多いかは、まさに相互情報量によって測られる。
相互情報量: チャネルは実際にどれだけの情報を伝えたか
チャネルを1回使用したとき、入力 X に関する出力 Y の情報量は、相互情報量である。
I(X;Y) = H(X) - H(X \mid Y)
分解して読むと非常に自然である。送信前の X に対する不確実性は H(X) であり、Y を受信した後の残存不確実性は H(X \mid Y) である（これがノイズによって導入された曖昧さである）。この2つの差が、チャネルを無事に通過した情報である。
3つの極端なケースで感覚を養う。
- ノイズレスチャネル: H(X \mid Y)=0、I(X;Y)=H(X)。送ったものがそのまま届く。
- 純粋なノイズチャネル (Y と X が独立): I(X;Y)=0。受信したものは入力の推測に何の役にも立たない。
- 一様入力を持つBSC: 0 / 1 が等確率で入力される場合、I(X;Y)=1-H(p) となる。ここで H(p) は 二元エントロピー関数 である。一様入力はBSCの容量をちょうど達成する。入力が偏っている場合、相互情報量は通常小さくなる。p=0.5 のとき、H(p)=1、I=0 となる——反転確率が半分であることは純粋なノイズと同じであり、チャネルは完全に機能しなくなる。
チャネル容量とシャノンのチャネル符号化定理
チャネル容量(channel capacity) は、すべての可能な入力分布において、相互情報量が取り得る最大値として定義される。
C = \max_{p(x)} I(X;Y)
これは、このチャネルを1回使用したときに、信頼性を持って運べるビット数の最大値であり、単位は bit / チャネル使用である。
シャノンのチャネル符号化定理 (1948) は、その直感に反する結論を示す。
任意の伝送速度 R < C に対して、復号誤り率を任意に 0 に近づける符号化方案が存在する。逆に、R > C の場合、誤り率を 0 に押し下げることはできず、信頼性のある伝送は不可能である。
直感に反するのはどこか？人々は「誤り率をさらに下げるには、速度をさらに下げなければならない（例えば、繰り返し回数を増やす）」と思っていた。シャノンは言う。一度 R<C を选定すれば、この速度を固定したまま、より長いブロック符号によって誤り率を任意に低くできる。
その代償はどこで支払うのか？遅延、符号化の複雑さ、符号語の長さである。方法は、多数のビットをパックして長い符号語とし、ノイズに抵抗するために長いブロック上の統計的規則を利用することだ——符号語が長ければ長いほど、この漸近的限界に近づける機会が増える。
定理は2つの部分からなり、一方は下限の到達可能性を保証し、他方は上限を封じる。到達可能性(achievability) は、R<C の場合にランダム符号を用いて良い符号を構成できることを示す（これは存在性の証明であり、具体的な符号は与えない）。逆定理(converse) は、R>C の場合、いかなる符号も非ゼロの誤り率から逃れることはできないことを示す。この2つが上下から C という鋭い閾値を絞り込む。
BSC の容量を計算する
抽象的な議論が終わったので、数字を当てはめる。BSC の容量には閉じた解がある: C = 1 - H(p)。ここで p は反転確率、H(p) は 二元エントロピー関数 である。
- p=0 (ノイズなし): H(0)=0、C=1 bit。1回の使用で最大限の 1 bit を伝送する。
- p=0.11 (約 11\% の誤ビット率): H(0.11)\approx 0.5、C\approx 0.5 bit。信頼性を持たせたい場合、情報 1 bit を伝えるごとに約 2 個のチャネルビットを送る必要があり、帯域の半分がノイズ対策に費やされる。
- p=0.5 (純粋なノイズ): H(0.5)=1、C=0 bit。出力と入力は独立しており、情報は伝送できない。
- p=1 (必ず反転): C=1 bit。興味深いことに——確定的な反転はノイズではなく、受信後に反転すれば情報は無傷である。
最後の項目は、一般的な誤解を明らかにしている。チャネルを殺すのは p=0.5 の「最大の不確実性」であり、反転そのものではない。容量を達成する最適な入力分布は、一様分布（0 / 1 が等確率）である——これは、C の定義で \max を用いてすべての入力分布を走査する必要がある理由も説明している。チャネルがどれだけの情報を伝えられるかは、それをどう供給するかにもかかっている。
AWGN 容量: なぜ最初に電力を制限する必要があるのか
AWGN チャネルは Y=X+N と書ける。ここでノイズ N\sim\mathcal N(0,\sigma^2) である。入力信号の電力が無制限に大きいことを許容すれば、送信側は信号の振幅を絶えず増幅することでノイズに打ち勝つことができ、容量には有限の上限が存在しない。したがって、AWGN 容量を論じる際には、平均電力制約 \mathbb E[X^2]\leq P を同時に与えなければならない。
1回使用される実数AWGNチャネルの場合、容量は以下の通りである。
C=\frac{1}{2}\log_2\left(1+\frac{P}{\sigma^2}\right) =\frac{1}{2}\log_2(1+\mathrm{SNR})\quad\text{bit / チャネル使用}
ここで \frac12 は、「1回の実数チャネル使用」という口径に由来する。連続時間、帯域幅 B の一般的な書き方は C=B\log_2(1+\mathrm{SNR}) bit/s である。覚えておくべきは係数ではなく、2点である。容量は入力制約に依存する。SNR を高めることによる利益は対数的にしか増加しない。電力を2倍にしても、容量は2倍にならない。
直感に反するが致命的なポイント
- 容量以下の速度に固定した後、信頼性は主に符号長で交換される。 R<C 自体が容量に余裕を残している。定理は、目標誤り率がゼロに近づくにつれて R をゼロへ向けて下げ続ける必要がないことを保証する。実際のシステムでは、遅延と計算複雑さのコストも支払わなければならない。有限の符号長において、漸近的定理自体は誤り率が実際にどこまで下がるかを示すものではない。
- 容量は硬い壁であり、緩い制約ではない。 R>C の場合、「誤り率が高くなる」のではなく、原理的にゼロに押し下げることは不可能である——冗長性をどれだけ増やし、いかに賢明な符号を使おうと無駄である。この線は逆定理によって証明されている。
- シャノンは「存在」を証明しただけで、「どのように作るか」は示さなかった。 定理はランダム符号を用いて良い符号が存在することを証明したが、効率的な符号化・復号の方法については一言も触れていない。この存在性と構成性との間の溝は、符号理論の半世紀以上を支えてきた。
シャノン限界の工学的意義
強調するが、シャノンの定理は存在性のものである。良い符号が存在することを証明したが、どのように作るかは教えてくれず、復号がどれほど速いかについても言及していない。その後の半世紀以上にわたる符号理論は、この「シャノン限界」に追いつくこと——すなわち、C に近づきながら効率的な符号化・復号が可能な実用的な符号を作ること——を目指してきた。
- 初期のハミング符号やリード・ソロモン符号は、限界からまだ遠かった。
- ターボ符号 (1993) と LDPC符号 (Gallager 1962, 90年代に再発見) は、反復 / 信念伝播復号を用い、AWGN においてシャノン限界から 1 dB 以内に到達した。これは通信工学の勝利であり、現在では 5G、Wi-Fi 6、深宇宙通信で LDPC が使用されている。
- 具体的な誤り訂正符号の構成と反復復号の詳細についてはここでは触れない。覚えておくべき骨格は、理論的限界はシャノンによって定められており、工学の数十年はその限界に沿って走ってきたということである。
情報源・チャネル分離: 圧縮と誤り訂正はどのように接続されるか
情報源符号化 は情報源自体の冗長性を除去し、速度をエントロピー率付近に圧縮する。チャネル符号化は、制御された冗長性を追加して伝送ノイズに抵抗する。シャノンの情報源・チャネル分離定理は、古典的なポイントツーポイント、長いブロック、定常情報源、および記憶なしチャネルにおいて、単位変換後の情報源エントロピー率がチャネル容量より低い場合、「先に圧縮し、次に誤り訂正」を行っても漸近的な最適性を損なわないことを述べている。
これは、通信リンク全体に対する最も簡潔な基準を与える。
\text{圧縮後の情報速度} < \text{チャネル容量} \quad \Rightarrow \quad \text{原理的に信頼性のある伝送が可能}
また、圧縮と誤り訂正が一見逆方向に見えるのにどうして直列動作できるのかも説明している。ただし、「分離設計が常に最適である」ことには明確な境界がある。短い遅延、複雑なネットワーク、マルチユーザー、または強いリアルタイム制約の下では、統合情報源・チャネル符号化の方が適している可能性がある。
したがって、チャネル符号化（ノイズに抵抗するために慎重に冗長性を加える）と情報源符号化（予測可能な冗長性を絞り出し、エントロピー率に近づける）は鏡像の関係にあり、分離定理はこの両端を閉ループとして接続する。
参考文献
- 論文: "A Mathematical Theory of Communication" (Shannon, 1948 — チャネル容量と符号化定理の原典)
- 教科書: "Elements of Information Theory" (Cover & Thomas — 第7章 チャネル容量、BSC/AWGN および容量の導出)
- 論文: "Near Shannon Limit Error-Correcting Coding and Decoding: Turbo-Codes" (Berrou et al., 1993 — シャノン限界に初めて近づいた実用的符号)
キーワード: チャネル容量 channel capacity, バイナリ対称チャネル BSC, 加性ガウス白ノイズ AWGN, SNR, 相互情報量 mutual information, チャネル符号化定理 channel coding theorem, 情報源・チャネル分離 source-channel separation, シャノン限界 Shannon limit, LDPC, ターボ符号, 到達可能性と逆定理