Viết Custom Probe với bpftrace trên Linux: Theo Dõi Kernel và Ứng Dụng Theo Thời Gian Thực Chỉ Trong Vài Phút

Linux tutorial - IT technology blog
Linux tutorial - IT technology blog

Sáu Tháng Trước, Tôi Như Mò Kim Đáy Bể

Server production Ubuntu 22.04 của tôi bắt đầu xuất hiện các đợt tăng độ trễ đột ngột — request nhảy từ 20ms lên 400ms mà không theo bất kỳ quy luật nào. CPU bình thường. Memory bình thường. Disk I/O trông ổn. Những nghi can thường gặp đều sạch bóng.

Tôi mất hai tuần dùng đủ loại công cụ thông thường: strace, perf stat, top, iostat. Mỗi công cụ cho tôi một mảnh của bức tranh, nhưng không cái nào kết nối được toàn bộ. Các đợt tăng độ trễ là thật, người dùng đang bị ảnh hưởng, mà tôi không tài nào xác định được nguyên nhân.

Đó là lúc một đồng nghiệp đề cập đến bpftrace. Tôi đã nghe tên nhưng chưa bao giờ dùng thật sự. Sau một cuối tuần thử nghiệm, tôi đã có một custom probe đang chạy và xác định được nguyên nhân gốc rễ trong chưa đầy mười phút. Điều tôi đã mất hai tuần truy tìm hóa ra là một kernel function cụ thể đang được gọi hàng nghìn lần mỗi giây trong một số tình huống tải nhất định.

Trải nghiệm đó thay đổi cách tôi nghĩ về observability. Đây là những gì tôi học được.

Tại Sao Các Công Cụ Thông Thường Không Đủ

Các công cụ như strace và perf không phải là tệ — chúng chỉ có phạm vi giới hạn. strace cho bạn thấy system call của một tiến trình duy nhất. perf cho bạn CPU counter và stack trace. Không cái nào cho phép bạn đặt câu hỏi chính xác như: “Mỗi khi vfs_read() được gọi từ ứng dụng của tôi, hãy cho tôi thấy tên file và PID đang gọi cùng một lúc.”

Vấn Đề Tìm Nguyên Nhân Gốc Rễ

Vấn đề hiệu năng hiếm khi nằm ở một chỗ duy nhất. Chúng xuất hiện ở giao điểm của ứng dụng, kernel và phần cứng. Để theo dõi giao điểm đó, bạn cần đo đạc nhiều tầng cùng lúc và tương quan dữ liệu. Đó chính xác là những gì bpftrace được thiết kế để làm.

bpftrace là ngôn ngữ tracing cấp cao được xây dựng trên nền eBPF (Extended Berkeley Packet Filter). Nó biên dịch các script tracing nhỏ thành bytecode chạy an toàn bên trong kernel — không cần kernel module, không cần khởi động lại, không có nguy cơ làm sập hệ thống. Bạn viết vài dòng, chạy, nhận kết quả, rồi dừng. Chi phí overhead khi không chạy là bằng không.

So Sánh Ba Phương Pháp

Trước khi chọn bpftrace, tôi đã đánh giá ba lựa chọn cho custom tracing:

Lựa Chọn 1: Pipeline strace + awk

Hoạt động tốt cho tracing syscall của một tiến trình. Dễ bắt đầu. Hoàn toàn thất bại khi bạn cần tương quan giữa các tiến trình hoặc tracing các hàm nội bộ kernel. Overhead dưới tải cũng đáng kể — gắn strace vào một tiến trình đang bận có thể làm chậm nó xuống 10–50 lần.

Lựa Chọn 2: Custom Kernel Module

Toàn quyền kiểm soát, nhưng viết kernel module để tracing đồng nghĩa với code C, kernel header, quản lý bộ nhớ cẩn thận, và khởi động lại nếu bạn làm sai. Đây là công cụ phù hợp nếu bạn cần instrumentation bền vững, cấp production được tích hợp vào kernel. Để debug một vấn đề đang xảy ra, chu kỳ lặp lại quá tốn thời gian.

Lựa Chọn 3: bpftrace Scripts

Điểm cân bằng lý tưởng. Bạn có được khả năng quan sát cấp kernel với tốc độ lặp lại của một ngôn ngữ scripting. Script dài từ ba đến hai mươi dòng. Chúng gắn vào kernel function, userspace probe, tracepoint và hardware event. Nếu script của bạn có lỗi, nó hoặc không biên dịch được hoặc bị BPF verifier của kernel từ chối — trong cả hai trường hợp, hệ thống của bạn vẫn tiếp tục chạy.

Trên server production Ubuntu 22.04 của tôi với 4GB RAM, tôi thấy cách tiếp cận này giảm đáng kể thời gian xử lý để chẩn đoán vấn đề so với bất kỳ phương án nào khác. Vòng phản hồi từ “Tôi có giả thuyết” đến “Tôi có dữ liệu” giảm từ hàng giờ xuống còn vài phút.

Cài Đặt và Chạy bpftrace

Cài Đặt

# Ubuntu 20.04+
sudo apt install -y bpftrace

# Xác nhận cài đặt
bpftrace --version

# Kiểm tra các probe có sẵn (xuất ra hàng nghìn dòng)
bpftrace -l 'kprobe:vfs_*' | head -20

Bạn cần kernel 4.9 trở lên với hỗ trợ BPF được biên dịch sẵn — điều này đúng với hầu hết kernel của các bản phân phối hiện đại. Bạn cũng cần quyền root hoặc capability CAP_BPF để chạy probe.

Cấu Trúc Probe Cơ Bản

Mọi script bpftrace đều theo cùng một mẫu:

probe_type:probe_name /filter/ {
    action;
}

Chỉ vậy thôi. Filter là tùy chọn. Action chạy mỗi khi probe kích hoạt.

Viết Custom Probe Đầu Tiên

Theo Dõi Lệnh Đọc File

Bắt đầu với thứ gì đó cụ thể. Probe này kích hoạt mỗi khi bất kỳ tiến trình nào gọi vfs_read():

sudo bpftrace -e '
kprobe:vfs_read {
    printf("%s đọc file\n", comm);
}'

comm là biến built-in chứa tên tiến trình. Điều này sẽ tạo ra rất nhiều output — mọi lần đọc file trên hệ thống. Thêm filter:

sudo bpftrace -e '
kprobe:vfs_read /comm == "nginx"/ {
    printf("nginx đọc: pid=%d size=%d\n", pid, arg2);
}'

arg2 là đối số thứ ba của vfs_read() — số byte được yêu cầu đọc. Các đối số của probe ánh xạ trực tiếp đến chữ ký hàm C.

Đo Độ Trễ với Cặp Entry/Return

Đây là lúc bpftrace trở nên thực sự hữu ích. Để đo thời gian thực thi của một kernel function:

sudo bpftrace -e '
kprobe:do_sys_openat2 {
    @start[tid] = nsecs;
}

kretprobe:do_sys_openat2 /@start[tid]/ {
    @latency = hist(nsecs - @start[tid]);
    delete(@start[tid]);
}'

Khi thoát (Ctrl+C), nó in ra histogram của độ trễ open() tính bằng nanosecond trên tất cả tiến trình. @start là một map (hash table) với key là thread ID. nsecs là biến built-in chứa timestamp. hist() tự động tổng hợp giá trị vào các bucket lũy thừa hai.

Probe Đã Tìm Ra Lỗi Của Tôi

Quay lại vấn đề ban đầu của tôi. Sau một số điều tra, tôi nghi ngờ áp lực page cache quá mức. Đây là probe tôi đã viết:

sudo bpftrace -e '
kprobe:shrink_node {
    @shrink_calls = count();
    @by_process[comm] = count();
}

interval:s:5 {
    printf("5 giây vừa qua: %d lần gọi shrink_node\n", @shrink_calls);
    print(@by_process);
    clear(@shrink_calls);
    clear(@by_process);
}'

Probe interval:s:5 kích hoạt mỗi 5 giây bất kể kernel event — hữu ích cho báo cáo định kỳ. Trong vòng ba mươi giây, tôi thấy một tiến trình cụ thể đang kích hoạt shrink_node (hàm thu hồi bộ nhớ) hàng trăm lần mỗi giây trong quá trình xử lý batch. Đó chính là thủ phạm: một job xử lý dữ liệu liên tục cấp phát và giải phóng buffer lớn trong vòng lặp chặt, liên tục khuấy đảo page cache.

Các Mẫu Probe Thực Tế

Theo Dõi Hàm Userspace Cụ Thể

bpftrace không chỉ giới hạn ở kernel function. Bạn có thể probe các binary userspace bằng USDT (User Statically Defined Tracing) probe hoặc uprobe:

# Theo dõi một hàm cụ thể trong binary đang chạy
# Thay /usr/bin/python3 và function offset theo nhu cầu
sudo bpftrace -e '
uprobe:/usr/bin/python3:PyEval_EvalFrameEx {
    @python_calls[ustack(5)] = count();
}'

Theo Dõi Mẫu System Call

# Đếm syscall theo tiến trình, cập nhật mỗi 3 giây
sudo bpftrace -e '
tracepoint:raw_syscalls:sys_enter {
    @syscalls[comm] = count();
}

interval:s:3 {
    print(@syscalls);
    clear(@syscalls);
}'

Theo Dõi Kết Nối Mạng

# Ghi lại mọi kết nối TCP mới với nguồn và đích
sudo bpftrace -e '
kprobe:tcp_connect {
    $sk = (struct sock *)arg0;
    printf("Kết nối TCP: pid=%d comm=%s\n", pid, comm);
}'

Viết Script Probe Tái Sử Dụng

One-liner rất tốt cho các điều tra nhanh. Để dùng lại nhiều lần, lưu probe thành file .bt:

cat > /usr/local/bin/file-latency.bt << 'EOF'
#!/usr/bin/env bpftrace

// Theo dõi độ trễ open() cho một tiến trình cụ thể
// Cách dùng: bpftrace file-latency.bt

kprobe:do_sys_openat2 /comm == str($1)/ {
    @start[tid] = nsecs;
}

kretprobe:do_sys_openat2 /@start[tid]/ {
    @us = hist((nsecs - @start[tid]) / 1000);
    delete(@start[tid]);
}

END {
    printf("\nHistogram độ trễ (microsecond):\n");
    print(@us);
}
EOF

sudo bpftrace file-latency.bt nginx

Những Hạn Chế Cần Biết

bpftrace không phải là câu trả lời cho mọi thứ. BPF verifier áp đặt các giới hạn chặt chẽ: vòng lặp phải có số lần lặp xác định, không gian stack giới hạn ở 512 byte, và một số mẫu truy cập bộ nhớ bị từ chối. Đối với instrumentation production chạy lâu dài với logic phức tạp, các công cụ như BCC (BPF Compiler Collection) hay thậm chí kernel module có thể phù hợp hơn.

Tính khả dụng của probe cũng phụ thuộc vào cấu hình kernel của bạn. Một số hàm bị compiler inline và không thể dùng kprobe. Nếu một probe không tạo ra output nào một cách im lặng, hãy kiểm tra với bpftrace -l 'kprobe:function_name' để xác nhận nó có thể gắn vào được.

Bài Học Thực Tế

Sáu tháng sau chẩn đoán ban đầu đó, script bpftrace đã trở thành một phần tiêu chuẩn trong quy trình xử lý sự cố của tôi. Các mẫu tôi dùng nhiều nhất là histogram độ trễ trên các kernel path đáng ngờ, đếm syscall theo tiến trình khi thứ gì đó trông có vẻ ngốn CPU, và interval báo cáo định kỳ để bắt hành vi bursty.

Đầu tư để học những kiến thức cơ bản chỉ mất vài giờ. Lợi ích là khả năng trả lời các câu hỏi về hệ thống đang chạy mà không công cụ nào khác có thể trả lời nếu không có custom kernel code. Với bất kỳ ai vận hành hạ tầng Linux ở bất kỳ quy mô nào, đó là sự đánh đổi xứng đáng.

Bắt đầu với one-liner. Tiến dần lên histogram độ trễ. Khi gặp vấn đề mà không thể giải thích bằng công cụ thông thường, hãy viết một probe. Câu trả lời thường có ngay trong vài phút.

Share: