Ethernet と MAC

ホストが別のセグメントにあるサーバーにアクセスする場合、Ethernetの宛先MACアドレスは通常、ゲートウェイインターフェースであり、遠隔地のサーバーではありません。この点を理解することで、「リンクが通っているか」「ネイバーが解決されているか」「ルーティングが正しいか」を切り離して考えることができます。Ethernetは同一セグメントのリンク上でフレーム伝送を提供し、ブリッジとVLANが第2層の転送範囲を決定し、上位層のルーティングが次のホップを決定します。

Ethernet、ブリッジ、物理層の責任を明確にする

IEEE 802.3はEthernet MACと複数の物理層をカバーします。802.1Qはブリッジ/VLANなどの機能を処理し、リンク集約は802.1AXに属します。これらすべてを802.3のフレーム形式の拡張と呼んではなりません。銅線や光ファイバー、符号化方式と速度はそれぞれ異なりますが、上位層では依然として類似したMACサービスを使用できます。

現代の一般的なスイッチングフルデュプレックスリンクではCSMA/CDは使用されず、正常な動作における衝突プロセスは存在しません。歴史的な共有メディア/ハーフデュプレックスの最小フレームと衝突検出の背景は進化を理解するのに役立ちますが、今日のすべてのスループットボトルネックを説明するためにこれを使用することはできません。フルデュプレックスでは、輻輳は主にキューイング、ドロップ、またはフロー制御として現れます。Cisco：フルデュプレックスと衝突検出

Ethernet II フレームのフィールドごとの理解

以下の長さは宛先アドレスから計算され、プレアンブルとSFDは含まれません。タグなしのフレームヘッダーは14 B、FCSは4 Bです。一般的な1500 BのMTUは伝送可能なL3データの量を意味するため、フル長さのMACフレームは1518 Bになります。MTUをEthernetヘッダーを含む総バイト数と間違えてはいけません。

1501～1535 は通常の EtherType や長さとして適当に解釈してはいけません。長さ形式には LLC/SNAP などのエンキャプセメントも関与しており、「raw mode」と総称するのは適切ではありません。一般的な EtherType には IPv4 0x0800、ARP 0x0806、IPv6 0x86DD、MAC Control 0x8808、Slow Protocols 0x8809 があります。PAUSE は 0x8808 を使用し、LACP は 0x8809 に属します⁠。これらを混同してはいけません。IANA IEEE 802 パラメータ登録

基本Ethernetプレアンブルは通常7つの0x55として記録され、SFDは0xD5です。最下位ビット先発の表現では、最後の境界パターンは交互プレアンブルとは異なります。現代のSerDesがフレーム境界メカニズムを必要としないとは言えず、PHY符号化後の線上表現を単純に元のオクテットストリングと同一視することもできません。

FCSは規定のCRCアルゴリズムを使用し、宛先MACからデータ/パディング末端までをカバーします。タグが存在する場合はタグも含み、プレアンブルとSFDは含みません。転送エラーを検出しますが、送信元の身元認証は行わず、再送も行いません。パディングは最小長さを満たすためのもので、IP Total Lengthには含まれません。ドライバは未初期化メモリをリークしないようにし、ランダムなメモリパディングを正常な実装戦略と見なしてはいけません。

なぜ小さなパケットが先にパケットレートボトルネックにぶつかるのか

フレームあたり8 Bのプレアンブル/SFDと平均12バイト時間のIFGという一般的な予算に基づくと、64 Bの最小MACフレームは84バイト時間を占有します。1 Gb/sでは約1.488 Mframe/sです。1518 Bのフル長さフレームは1538バイト時間を占有し、1500 BのL3ペイロードの理想的な効率は 1500/1538≈97.53% です。さらにIPv4とTCPヘッダーがそれぞれ20 Bでオプションがないと仮定すると、1460 BのTCPデータの理想的な上限は約949.3 Mb/sとなり、ACKなどのトラフィックやホストの制限はまだ計上されていません。

IFGはフレーム間のアイドル時間です。96 bit timeは1 Gb/sで96 ns、10 Gb/sで9.6 nsです。一部の高速インターフェースにはワードアライメントやデフィシットアイドルカウントなどの実装詳細があり、PHY/MACのルールから外れて固定の12バイトを硬套すべきではありません。デバイスはパイプライン、キャッシュ、DMA、キューを使用して並列処理するため、1つのIFG内でフレーム全体のソフトウェア処理を完了する必要はありません。

大きなフレームはバイトごとのパケットごとのオーバーヘッドを削減しますが、インターラプトマージ、NAPI、およびセグメンテーション/マージオフロードは、ホストが観察する作業量を変更します。したがって、MTUが1500から9000に変わっても、必ずしもインターラプトが6倍減少するとは言えません。

同じ回線で、なぜ小さなパケットの方が処理能力をより早く枯渇させるのか？

1回の送信に必要な時間をバイト時間に換算して初めて、フレームレートと有効スループットを同じ分母で比較できます。最小パケットまで引き伸ばすと、TCPデータはゼロになる可能性がありますが、リンクは依然として最小フレームの完全なコストを支払います。リボン図は各項の実際の比率に基づいて幅を割り当て、以下の表は小フィールドの数値を保持しています。

$$F=\max (64,14+L_{IP}+4),PPS=\frac{R}{8(F+20)},G=R\frac{L_{IP}-40}{F+20}$$

MACアドレスはリンク識別子であり、信頼できる身元ではない

一般的なMACは48ビットです。最初のオクテットの最下位ビットをbit 0とし、bit 0=1はグループアドレスを、bit 1=1はローカル管理を示します。例えば 02:00:00:00:00:01 はローカル管理ユニキャストです。ff:ff:ff:ff:ff:ff はブロードキャストです。従来のOUI割り当てでは通常最初の3オクテットが使用されますが、IEEEの割り当てブロックにも異なる長さがあり、任意のアドレスの最初の3オクテットから一意のベンダーを推測することはできません。

ローカル管理、仮想化、ランダム化、および設定エラーにより、重複や変更が発生する可能性があります。アドレスは偽造されることもあります。スイッチが某MACを学習しても、それは転送テーブルの情報としてのみ機能し、デバイスがすでに認証されたことを意味するものではありません。RFC 9542：IEEE 802 識別と割り当て

ブロードキャストは通常、同じVLANに属し、転送状態とポリシーを満たす関連ポートにのみ泛洪（フローディング）され、スイッチのすべてのポートに無条件にコピーされるわけではありません。予約済みマルチキャストアドレスには専用の処理があります。一般的なスイッチは通常、送信元MACに基づいてエントリを学習し、宛先MACとVLANに基づいて転送テーブルを参照します。未知のユニキャスト処理、マルチキャストリスニング、およびポート分離も実際の出力を変更します。

ルーターは自分宛てのリンクフレームを受信し、古い第2層エンキャプセメントを削除し、IPルーティングに基づいて出口を選択し、その後、その出口の次のホップMACを使用して新しいフレームを生成します。NATがない例では、最終的な宛先IPは変更されませんが、TTL/Hop Limit はデクリメントされ、関連するヘッダーフィールドはプロトコルに従って更新されます。MAC次のホップ解決については ARP と NDP を参照してください。

ルーターを跨ぐと、どのアドレスが変更されるのか？

最終的な通信双方を固定し、各リンク上で実際に必要なアドレスを観察します。初期TTLを1に設定し、次のセグメントリンクを選択すると、結果は「パケットがない」はずであり、TTL=0でありながら前方に移動し続けるフレームではありません。この境界はエンキャプセメントの置換と転送の存続期間の両方を検証できます。

VLANタグ：ネットワークバイトオーダでTCIを読む

802.1Qタグは送信元MACの後に位置し、2 BのTPIDと2 BのTCIを含み、その後に内部EtherTypeが続きます。TCIを16ビットの符号なし整数としてデコードする場合：PCP=(TCI>>13)&7、DEI=(TCI>>12)&1、VID=TCI&0x0fff です。図では左から右の位置と、整数の最下位ビットからの番号付け方向が逆です。実装では、上記のマスクを使用してフィールドを抽出する必要があります。

PCP=5、DEI=1、VID=100 の場合、TCI=0xB064 となり、線上の2バイトは B0 64 です。VID=0 は通常のVLAN 0が存在することを意味しません。エントリでは依然としてポート分類ルールに基づいて所属VLANを決定する必要があります。タグなしトラフィックも、エントリポートのPVIDによって分類される場合があります。

1つのタグを追加すると、1500 Bのペイロードを運ぶフレームは通常1522 Bに達し、L3 MTUはこれによって減少する必要はありません。短フレームで元のパディングが保持されるかどうか、およびタグの挿入/削除後の長さは、具体的な送信およびブリッジ動作に基づいて分析する必要があり、すべてのタグ付きフレームに有効ペイロードの最小値を強要してはいけません。

Q-in-Qでは、一般的な外側のSタグは0x88A8を使用し、内側のCタグは0x8100を使用します。順序は DA、SA、外タグ、内タグ、上位層タイプ、データとなります。これは伝送と隔離識別子を拡張するものであり、暗号化を意味するものではありません。Linux QoSからPCPへのマッピングとVLANオフロード設定も個別に確認する必要があり、PCPを読み取った後に自動的に期待されるキューポリシーが得られると仮定してはいけません。

MTUとパケットキャプチャ：3つのビューを区別する

Jumbo MTU（例：9000）は一般的な設定ですが、すべてのデバイスで一貫して保証されるものではありません。エンドツーエンドパスは対応するフレームまたはパケット能力を満たす必要があり、トンネルではエンキャプセメントオーバーヘッドも確保する必要があります。第2層デバイスはフレームが大きすぎるためにドロップすることがありますが、通常、ルーターにICMPを生成させることはありません。第3層MTU、フラグメンテーション、PMTUDは別のメカニズムであり、IPv4とIPv6の動作も異なります。

ソフトウェアパケットキャプチャでは、プレアンブルやFCSが見えない場合があります。VLANタグはハードウェアによって剥がされ、メタデータとして配信される可能性があります。送信チェックサムはネットワークカードによってまだ完了していない場合があり、TSO/GSOやGROにより、ソフトウェアオブジェクトが線上のフレームよりも大きくなることがあります。「MTUを超えるパケット」や「壊れたチェックサム」が表示された場合は、まずキャプチャ位置とオフロードを確認し、すぐに回線違反を主張しないでください。Linux セグメンテーションオフロード

Linuxの rx-fcs は受信FCSの保持を要求し、rx-all のみが通常ドロップされるエラーフレームの受信に関連します。サポートはネットワークカード/ドライバに依存します。これらを1つのスイッチに混同してはいけません。tcpdumpがハードウェアによってすでにドロップされたフレームの内容を凭空に取得することはありません。Linux netdev features

本稿のフィールドとビットマスクは、Linux 7.2 の include/uapi/linux/if_ether.h、include/linux/if_vlan.h と照合されます。カーネルの長さ定数は、FCSを含むかどうかを明確に区別します。

PAUSE、PFC、LACP はそれぞれ異なる問題を解決する

PAUSEはリンクごとのバックプレッシャーであり、相手側に通常の送信を一時停止するよう要求し、時間単位は512 bit timeです。受信側の瞬間的な圧力を抑制できますが、無関係なトラフィックも一緒に待たせる可能性があります。PFCは一時停止を優先度ごとに区別しますが、ヘッドオブラインブロック、輻輳の伝播、さらには特定の依存関係でのデッドロックを引き起こす可能性があります。これをデータセンターの全トラフィックに対するデフォルトのより優れたソリューションと記述することはできず、あるRoCE展開戦略をすべてのネットワークの必須条件として一般化することもできません。

LACPは集約メンバーと状態のネゴシエーションを担当し、1つの接続を自動的に複数のパスに分割するものではありません。一般的なフローハッシュはパケットごとの順序乱れを防ぐため、2つの10 Gb/sリンクで構成される集約はマルチフローの総容量を増加させることができますが、単一フローは通常1つのメンバーリンクに制限されます。ハッシュの衝突により、複数のフローが同じメンバーに割り当てられる可能性があります。Linux bonding ドキュメント

高速/低速LACPの一般的な送信周期は約1秒/30秒ですが、これを最終的なフェイルオーバー時間として直接使用してはいけません。リンク検出、タイムアウト、集約選択、スイッチ側の設定、およびトラフィックの再分散が復旧を決定します。active-backupやbalance-rrなどのモードには、それぞれ異なる相手側の要件と順序の影響があり、「単に2本のケーブルを接続するだけ」で設定できるものではありません。

ローカル解決と線速の再計算

from math import isclose
import struct

pcp, dei, vid = 5, 1, 100
tci = (pcp<<13)|(dei<<12)|vid
assert tci == 0xB064
wire = struct.pack('!HHH', 0x8100, tci, 0x0800)
tpid, received, etype = struct.unpack('!HHH', wire)
assert tpid == 0x8100 and etype == 0x0800
assert ((received>>13)&7, (received>>12)&1, received&0xfff) == (5,1,100)
first = 0x02
assert (first&1) == 0 and (first&2) != 0
assert 1_488_095 < 1e9/((64+8+12)*8) < 1_488_096
assert isclose(1500/1538, 0.9752925877763329)
assert 949.2 < 1e3*1460/1538 < 949.3
assert isclose(96/1e9*1e9, 96)
assert isclose(1*512/1e9*1e6, 0.512)
print('TCI バイトオーダ/ビットフィールド、MAC フラグ、フレーム時間予算のチェックが通過しました')

本稿ではフォーマットと数学的予算のみを検証し、インターフェースMAC、MTU、VLAN、または集約設定を変更していません。また、実際のパケットキャプチャも行っていません。

引き続き参照

• ARP 与 NDP：IP の次のホップがリンクアドレスにどのようにマッピングされるか。
• 交換、ブリッジ、VXLAN：学習テーブル、ブロードキャストドメイン、ループ、およびオーバーレイネットワーク。
• ICMP 与 PMTUD：パスMTUとエラーフィードバック。