Sự cố lúc 2:14 sáng: Lạc lối giữa biển cáp DAC
Vào lúc 2:14 sáng một ngày thứ Ba, PagerDuty dồn dập réo chuông cảnh báo khẩn cấp trên điện thoại của tôi. Database replica db-prod-04 bất ngờ bị rớt khỏi cụm Galera cluster sau khi packet loss tăng vọt quá 60%. Truy cập SSH qua interface bonded chính hoàn toàn tê liệt. Cứu cánh duy nhất còn lại để truy cập vào server là console IPMI serial-over-LAN.
Tôi tham gia vào cuộc gọi khẩn và gọi kỹ sư network đang trực on-call. Anh ấy bỏ qua màn chào hỏi xã giao: “eth0 đang cắm vào switch top-of-rack nào và ở cổng vật lý nào vậy? Tôi cần kiểm tra bộ đếm interface drop.”
Một khoảng lặng kéo dài. Datacenter nằm cách xa tận sáu mươi dặm ở Ashburn. Tệ hơn nữa, sơ đồ tủ rack trên NetBox đã bốn tháng rồi không ai cập nhật. Lần theo từng sợi cáp twinaxial DAC trong tủ rack 42U chật ních lúc 2 giờ sáng là điều bất khả thi. Đêm hôm đó đã cho tôi một bài học thực tế đắt giá: đừng bao giờ trông cậy vào các bảng tính do con người tự cập nhật thủ công khi xảy ra sự cố Sev-1. Bạn buộc phải biết cách để Linux tự truy vấn trực tiếp hạ tầng mạng vật lý.
Tại sao việc rà soát cáp thủ công luôn thất bại khi gặp sự cố
Network stack mặc định của Linux hoạt động gần như “mù” ở Layer 2. Khi bạn cấu hình một interface bằng iproute2, NetworkManager hoặc systemd-networkd, kernel sẽ quản lý bảng ARP, áp dụng các routing rule và gửi frame qua địa chỉ MAC. Nhưng điều mà nó không bao giờ làm sẵn mặc định là xác định các thiết bị lân cận (neighbor) vật lý.
Điểm mù đó gây ra sự chậm trễ tai hại trong quá trình xử lý sự cố:
- Tài liệu sai lệch theo thời gian (Documentation Drift): Kỹ thuật viên hiện trường thay thế module quang SFP28 bị lỗi hoặc cắm lại dây nhảy mạng trong các đợt bảo trì khẩn cấp. Họ luôn tự nhủ sẽ cập nhật CMDB vào sáng thứ Hai. Nhưng thực tế thì hiếm khi làm vậy.
- Âm thầm loại bỏ gói tin (Silent Discards): Các enterprise switch liên tục broadcast frame quảng bá Layer 2 mỗi 30 giây. Kernel Linux nguyên bản sẽ âm thầm drop các frame này vì không có ứng dụng nào mở raw socket để lắng nghe ethertype đó.
- Đấu nối sai cáp trong Bond (Asymmetric Bond Cabling): Trong các mô hình dual-ToR sử dụng LACP (802.3ad) bắt chéo qua các cặp MLAG hoặc Cisco vPC, việc cắm nhầm cáp là một thảm họa. Chỉ cần một sợi cáp vô tình bị cắm vào switch quản lý hoặc cổng access sai native VLAN là toàn bộ liên kết bond sẽ bị mất ổn định ngay lập tức.
Đánh giá các phương án khám phá lân cận
Khi một interface bắt đầu drop packet hoặc các VLAN tag bị lỗi âm thầm, các kỹ sư thường dựa vào ba phương pháp:
1. Nhờ hỗ trợ kỹ thuật tại chỗ (Remote-Hands)
Nhờ kỹ thuật viên tại datacenter dùng đèn pin để lần từng sợi cáp thường mất từ 45 đến 90 phút. Trong lối đi nóng (hot aisle) chật chội, thao tác lúc mệt mỏi còn tiềm ẩn nguy cơ quẹt đứt dây nhảy quang bên cạnh hoặc va quệt vào dây nguồn.
2. Bắt gói tin Multicast bằng tcpdump
Bạn có thể bắt trực tiếp các frame quảng bá thô ngay trên đường truyền:
sudo tcpdump -nn -v -i eth0 -s 1500 -c 1 'ether proto 0x88cc'
Cách này dùng được trong tình thế cấp bách, nhưng đòi hỏi sự kiên nhẫn. Các frame LLDP tiêu chuẩn chỉ được broadcast định kỳ 30 giây một lần. Nếu packet loss đang khiến link bị chập chờn (flapping), việc ngồi đợi một lệnh capture bị block sẽ làm chậm quá trình xử lý sự cố. Việc tự giải mã các trường TLV thô qua console serial IPMI giật lag ở tốc độ 9600-baud vừa cực khổ lại vừa dễ nhầm lẫn.
3. Sử dụng daemon chuyên dụng: open-lldp và lldpd
Các máy chủ Linux thường chạy một trong hai daemon khám phá Layer 2 sau:
- open-lldp (lldpad): Được thiết kế chủ yếu cho Data Center Bridging (DCB) và Fibre Channel over Ethernet (FCoE). Nó khá cồng kềnh, khó viết script tự động hóa và quá phức tạp cho nhu cầu khám phá host thông thường.
- lldpd: Gọn nhẹ, tin cậy và được phát triển tích cực. Daemon này chỉ tiêu tốn dưới 12 MB bộ nhớ RAM và hỗ trợ IEEE 802.1AB LLDP cùng với Cisco CDP (v1/v2), Extreme EDP, Foundry FDP và Nortel SONMP. Nó cung cấp giao diện CLI tương tác nhanh chóng và hỗ trợ xuất dữ liệu JSON gọn gàng.
Tự động hóa khám phá thiết bị lân cận với lldpd
Việc triển khai lldpd trên toàn bộ dàn máy chủ sẽ xóa bỏ mọi phỏng đoán. Chạy dưới dạng một daemon nhẹ nhàng trong không gian người dùng (user-space), nó liên tục thu thập metadata của switch và trả lời các câu hỏi của đội ngũ network chỉ trong chưa đầy hai giây.
Bước 1: Cài đặt lldpd
Cài đặt daemon bằng trình quản lý gói của bản phân phối bạn đang dùng:
# Debian, Ubuntu
sudo apt update && sudo apt install -y lldpd
# Rocky Linux, AlmaLinux, RHEL 9
sudo dnf install -y epel-release
sudo dnf install -y lldpd
Bước 2: Cấu hình giao thức và khởi chạy dịch vụ
Cấu hình mặc định sau khi cài đặt chỉ lắng nghe LLDP cơ bản. Hãy bật Cisco Discovery Protocol (CDP) và Extreme Discovery Protocol (EDP) để xử lý mượt mà các thiết bị mạng từ nhiều hãng khác nhau:
# Trên Debian/Ubuntu:
echo 'DAEMON_ARGS="-c -e"' | sudo tee /etc/default/lldpd
# Trên RHEL/Rocky Linux:
echo 'LLDPD_OPTIONS="-c -e"' | sudo tee /etc/sysconfig/lldpd
# Khởi chạy và kích hoạt daemon cùng hệ thống
sudo systemctl enable --now lldpd
Bước 3: Truy vấn thiết bị lân cận bằng lldpcli
Sau khi để daemon lắng nghe trong một chu kỳ broadcast 30 giây, hãy truy vấn bảng interface cục bộ:
sudo lldpcli show neighbors
Kết quả trả về cung cấp ngay ngữ cảnh kết nối vật lý:
-------------------------------------------------------------------------------
LLDP neighbors:
-------------------------------------------------------------------------------
Interface: eth0, via: LLDP, RID: 1, Time: 0 day, 00:01:22
Chassis:
ChassisID: mac 00:50:56:bb:12:34
SysName: sw-leaf-01a.dc1.internal
SysDescr: Cisco Nexus Operating System (NX-OS) Software 9.3(8)
Capability: Bridge, on
Capability: Router, on
Port:
PortID: ifname Ethernet1/14
PortDescr: db-prod-04:eth0 [Trunk to Prod Compute]
TTL: 120
MFS: 9216
VLAN:
VLAN: 100, pvid: yes
-------------------------------------------------------------------------------
Chỉ trong vài giây, bạn đã xác nhận được bốn thông số quan trọng:
- Chassis của Switch:
sw-leaf-01a.dc1.internal(switch Cisco Nexus 9000 series) - Cổng switch vật lý:
Ethernet1/14 - Native VLAN của port (PVID):
100 - Max Frame Size (MFS):
9216(xác nhận liên kết hỗ trợ jumbo frame)
Bước 4: Kiểm tra chi tiết Trunk và VLAN Tagging
Nếu nghi ngờ một VLAN tag chưa được cấu hình đang làm rớt lưu lượng storage hoặc cluster, hãy truy vấn các thuộc tính cổng mở rộng:
sudo lldpcli show neighbors details
Lệnh này sẽ liệt kê tất cả các VLAN ID được cho phép trên đường trunk, trạng thái đối tác LACP (Link Aggregation Control Protocol) và mức công suất PoE. Nếu server yêu cầu các tagged frame trên VLAN 250 nhưng cổng switch upstream chỉ cho phép VLAN 100 untagged, bạn đã khoanh vùng chính xác lỗi mà không cần phải đăng nhập vào CLI của bất kỳ switch nào.
Bước 5: Xuất dữ liệu JSON sang CMDB và pipeline giám sát
Truy vấn thủ công giúp giải quyết khủng hoảng tức thì, nhưng việc tự động thu thập dữ liệu sẽ giúp ngăn ngừa sự cố xảy ra ngay từ đầu. Hãy sử dụng lldpcli với định dạng xuất JSON gốc để phục vụ tự động hóa:
sudo lldpcli -f json show neighbors
Đưa dữ liệu có cấu trúc đó qua lệnh jq để trích xuất ánh xạ giữa interface và switch:
sudo lldpcli -f json show neighbors | jq '[
.lldp[0].interface[]? // .lldp.interface[]? | {
local_interface: (.name // keys[0]),
switch_chassis: (.. | .SysName?.value? // empty),
switch_port: (.. | .port?.id?.value? // empty)
}
]'
Bộ lọc sẽ cho ra các bản ghi key-value gọn gàng:
[
{
"local_interface": "eth0",
"switch_chassis": "sw-leaf-01a.dc1.internal",
"switch_port": "Ethernet1/14"
},
{
"local_interface": "eth1",
"switch_chassis": "sw-leaf-01b.dc1.internal",
"switch_port": "Ethernet1/14"
}
]
Đẩy payload này lên NetBox, AWX hoặc API kiểm kê nội bộ (inventory API) sẽ biến các bản tin quảng bá thụ động của switch thành nguồn dữ liệu chuẩn (source of truth) tự động hóa và có khả năng tự phục hồi.
Những lưu ý quan trọng trên môi trường Production
- Chính sách truyền nhận trên switch (Switch Transmit Policies): Các enterprise switch thường tắt LLDP theo mặc định. Trên Cisco IOS, switch cần bật lệnh
lldp runở chế độ global. Trên Cisco NX-OS, cần có lệnhfeature lldp. Nếu switch chỉ nhận frame mà không bao giờ gửi đi, bảng neighbor trên máy chủ cục bộ của bạn sẽ hoàn toàn trống trơn. - Chế độ chỉ đọc bảo mật (Hardened Read-Only Mode): Trong các môi trường đa người dùng (multi-tenant) hoặc DMZ, máy chủ không nên tự ý phát tán hostname hay địa chỉ IP của mình ra toàn bộ broadcast domain Layer 2. Hãy thêm tham số
-rvào cấu hình daemon để kích hoạt chế độ chỉ lắng nghe (listen-only). Khi đó, máy chủ vẫn thu thập được thông tin switch lân cận mà không làm rò rỉ danh tính của chính mình trên đường truyền.

