午前2時14分の障害:DACケーブルの海で途方に暮れる
火曜日の午前2時14分、PagerDutyのアラートがけたたましくスマートフォンを鳴らしました。パケットロスが60%を超えた直後、データベースのレプリカであるdb-prod-04がGaleraクラスターから突然離脱したのです。プライマリのボンディングインターフェース経由のSSHアクセスは完全に不通。残された唯一の侵入経路は、IPMIのシリアルオーバーLAN(SoL)コンソールだけでした。
障害対策用の電話ブリッジに接続し、オンコールのネットワークエンジニアに状況を伝えました。彼は形式的な挨拶もそこそこに、単刀直入に尋ねてきました。「eth0はどのToR(Top-of-Rack)スイッチの、どの物理ポートに接続されている?インターフェースのドロップカウンターを確認したいんだ」
沈黙が流れました。データセンターは60マイル(約100km)離れたアッシュバーンにあります。さらに悪いことに、NetBoxのラック構成図はここ4か月間まったく更新されていませんでした。深夜2時に42Uラックにぎっしり詰まったTwinax DACケーブルを目視でたどることなど不可能です。その夜の出来事を通じて、ある厳しい現実を痛感しました。Severity-1(重大度1)の障害対応中に、人間が手作業で管理するスプレッドシートを信用してはならないということです。Linux自身に物理ネットワークファブリックを直接問い合わせさせる方法を知っておく必要があります。
なぜプレッシャー下で手作業のケーブル調査は破綻するのか
標準的なLinuxネットワークスタックは、レイヤー2(データリンク層)においては実質的にブラインドの状態で動作します。iproute2、NetworkManager、あるいはsystemd-networkdでインターフェースを設定すると、カーネルはARPテーブルを管理し、ルーティングルールを適用し、MACアドレスを通じてフレームを送出します。しかし、デフォルトでは物理的な隣接機器(ネイバー)を自動で特定することは決してありません。
この盲点が、障害対応中に致命的な遅延を引き起こします。
- ドキュメントの形骸化(ドキュメンテーションドリフト):現場の技術者が緊急メンテナンス時に故障したSFP28光トランシーバーを交換したり、パッチケーブルを差し替えたりすることがあります。「月曜日の朝にCMDB(構成管理データベース)を更新しよう」と思っていても、それが実行されることは稀です。
- サイレントディスカード(通知なき破棄):エンタープライズスイッチは、30秒ごとにレイヤー2のアドバタイズフレームをブロードキャストします。通常のLinuxカーネルは、そのイーサタイプ(EtherType)用のRawソケットを開いているアプリケーションが存在しないため、これらのフレームを何食わぬ顔で静かに破棄します。
- 非対称なボンドケーブリング:MLAGやCisco vPCペアにまたがってLACP(802.3ad)を使用するデュアルToR構成では、ケーブルのクロス接続は破滅的な結果をもたらします。誤って1本のケーブルを管理用スイッチや異なるネイティブVLANのアクセスポートに接続してしまうだけで、ボンド全体が不安定になります。
ディスカバリー手法の比較評価
インターフェースでパケットドロップが発生し始めたり、VLANタグがサイレントに失敗したりした場合、エンジニアは通常次の3つのアプローチを検討します。
1. リモートハンド(現地技術者)による確認
現地の技術者に懐中電灯を持たせてケーブルを目視で追跡してもらうには、45分から90分かかります。熱がこもる狭いホットアイルの中では、疲労した手元が隣接する光ファイバージャンパーを引っ掛けたり、電源ケーブルに接触したりする重大なリスクも伴います。
2. tcpdumpによるマルチキャストフレームのキャプチャ
回線から直接Rawアドバタイズフレームをキャプチャすることは可能です。
sudo tcpdump -nn -v -i eth0 -s 1500 -c 1 'ether proto 0x88cc'
急場しのぎには有効ですが、忍耐が必要です。標準的なLLDPフレームは30秒に1回しかブロードキャストされません。パケットロスによってすでにリンクがフラッピングしている場合、ブロッキングするパケットキャプチャを待ち続けることはトリアージを大幅に遅らせます。また、遅延の大きい9600 bpsのIPMIシリアルコンソール経由で生のTLV(Type-Length-Value)をデコードする作業は苦痛であり、人為的ミスも誘発しやすくなります。
3. 専用デーモン:open-lldp vs lldpd
Linuxホストは通常、次の2つのレイヤー2探索デーモンのいずれかを実行します。
- open-lldp(lldpad):主にDCB(Data Center Bridging)やFCoE(Fibre Channel over Ethernet)向けに設計されています。モノリシックでスクリプト化が難しく、一般的なホスト探索用途には複雑すぎます。
- lldpd:軽量で信頼性が高く、活発にメンテナンスされています。常駐メモリ消費量は12MB未満で、IEEE 802.1AB LLDPに加え、Cisco CDP(v1/v2)、Extreme EDP、Foundry FDP、Nortel SONMPをサポートしています。高速な対話型CLIを備え、クリーンなJSON形式での出力も可能です。
lldpdによるネイバー探索の自動化
フリート全体でlldpdを実行しておけば、推測に頼る必要がなくなります。軽量なユーザー空間デーモンとして動作し、スイッチのメタデータを継続的にインデックス化して、ネットワークチームからの問い合わせに2秒未満で回答できるようになります。
ステップ1:lldpdのインストール
ディストリビューションのパッケージマネージャーを使用してデーモンをデプロイします。
# Debian、Ubuntu
sudo apt update && sudo apt install -y lldpd
# Rocky Linux、AlmaLinux、RHEL 9
sudo dnf install -y epel-release
sudo dnf install -y lldpd
ステップ2:プロトコルの設定とサービスの起動
標準インストール状態では、基本的なLLDPのみをリッスンします。マルチベンダーのネットワーク機器環境にシームレスに対応するため、Cisco Discovery Protocol(CDP)およびExtreme Discovery Protocol(EDP)を有効化します。
# Debian/Ubuntuの場合:
echo 'DAEMON_ARGS="-c -e"' | sudo tee /etc/default/lldpd
# RHEL/Rocky Linuxの場合:
echo 'LLDPD_OPTIONS="-c -e"' | sudo tee /etc/sysconfig/lldpd
# デーモンの有効化と即時起動
sudo systemctl enable --now lldpd
ステップ3:lldpcliによるネイバーの確認
デーモンが30秒間のブロードキャストウィンドウを1回リッスンするのを待った後、ローカルインターフェーステーブルを照会します。
sudo lldpcli show neighbors
出力から、物理的な接続状況が即座に判明します。
-------------------------------------------------------------------------------
LLDP neighbors:
-------------------------------------------------------------------------------
Interface: eth0, via: LLDP, RID: 1, Time: 0 day, 00:01:22
Chassis:
ChassisID: mac 00:50:56:bb:12:34
SysName: sw-leaf-01a.dc1.internal
SysDescr: Cisco Nexus Operating System (NX-OS) Software 9.3(8)
Capability: Bridge, on
Capability: Router, on
Port:
PortID: ifname Ethernet1/14
PortDescr: db-prod-04:eth0 [Trunk to Prod Compute]
TTL: 120
MFS: 9216
VLAN:
VLAN: 100, pvid: yes
-------------------------------------------------------------------------------
わずか数秒で、極めて重要な4つのパラメータを確認できました。
- スイッチシャーシ:
sw-leaf-01a.dc1.internal(Cisco Nexus 9000シリーズスイッチ) - 物理スイッチポート:
Ethernet1/14 - ポートのネイティブVLAN(PVID):
100 - 最大フレームサイズ(MFS):
9216(リンク沿いでジャンボフレームがサポートされていることを確認)
ステップ4:トランクおよびVLANタグ設定の詳細確認
未設定のVLANタグがストレージやクラスターのトラフィックをドロップさせている疑いがある場合は、拡張ポート属性を照会します。
sudo lldpcli show neighbors details
このコマンドにより、トランク上で許可されているすべてのVLAN ID、LACP(Link Aggregation Control Protocol)のパートナー状態、PoE給電レベルが一覧表示されます。サーバー側がVLAN 250のタグ付きフレームを想定しているにもかかわらず、上流のスイッチポートがVLAN 100のアンタグドフレームしか許可していない場合、スイッチのCLIに一度もログインすることなく障害原因を突き止めることができます。
ステップ5:CMDBおよび監視パイプラインへのJSONエクスポート
手動での照会は目の前の危機を解決しますが、データ収集を自動化しておけば障害そのものを未然に防ぐことができます。自動化には、ネイティブJSON出力に対応したlldpcliを活用します。
sudo lldpcli -f json show neighbors
この構造化されたペイロードを直接jqにパイプして、インターフェースとスイッチのマッピングを抽出します。
sudo lldpcli -f json show neighbors | jq '[
.lldp[0].interface[]? // .lldp.interface[]? | {
local_interface: (.name // keys[0]),
switch_chassis: (.. | .SysName?.value? // empty),
switch_port: (.. | .port?.id?.value? // empty)
}
]'
このフィルターにより、クリーンなキー・バリュー形式のレコードが生成されます。
[
{
"local_interface": "eth0",
"switch_chassis": "sw-leaf-01a.dc1.internal",
"switch_port": "Ethernet1/14"
},
{
"local_interface": "eth1",
"switch_chassis": "sw-leaf-01b.dc1.internal",
"switch_port": "Ethernet1/14"
}
]
このペイロードをNetBox、AWX、あるいは社内のインベントリAPIに送信することで、パッシブなスイッチのアドバタイズ情報を、自動的かつ自己修復的な「信頼できる唯一の情報源(Single Source of Truth)」へと昇華させることができます。
本番環境で留意すべき注意点
- スイッチ側の送信ポリシー:エンタープライズスイッチでは、デフォルトでLLDPが無効になっているケースが多々あります。Cisco IOSではグローバルで
lldp runが必要であり、Cisco NX-OSではfeature lldpが必要です。スイッチがフレームを受信しても送信を行わない場合、ローカルのネイバーテーブルは空のままになります。 - セキュリティを強化した読み取り専用モード:マルチテナント環境やDMZでは、サーバーのホスト名やIPアドレスをレイヤー2ブロードキャストドメイン全体に通知すべきではありません。デーモンの引数に
-rを渡すことで、リッスン専用モードを強制できます。これにより、ホスト自体の識別情報をネットワーク上に漏洩させることなく、スイッチのネイバーデータのみを取得できます。

