bpftraceでLinuxカスタムプローブを作成する:数分でカーネルとアプリをリアルタイムにトレース

Linux tutorial - IT technology blog
Linux tutorial - IT technology blog

6ヶ月前、私は暗中模索していた

Ubuntu 22.04の本番サーバーで断続的なレイテンシスパイクが発生し始めました。リクエストが20msから400msに跳ね上がるものの、明確なパターンが見つかりません。CPUは問題なし、メモリも問題なし、ディスクI/Oも正常に見えます。よくある原因もすべてクリアでした。

2週間、従来のツールを駆使して問題に取り組みました:strace、perf stat、top、iostat。それぞれが状況の一端を見せてくれましたが、点と点をつなぐものはありませんでした。レイテンシスパイクは確かに存在し、ユーザーに悪影響を与えていましたが、原因を特定できずにいました。

そのとき、同僚がbpftraceを勧めてくれました。聞いたことはありましたが、真剣に使ったことはありませんでした。週末に試行錯誤した結果、カスタムプローブを走らせて10分以内に根本原因を特定できました。2週間追いかけていた問題の正体は、特定のワークロード時に1秒間に何千回も呼び出される、特定のカーネル関数でした。

この経験は、オブザーバビリティに対する私の考え方を変えました。ここで学んだことをご紹介します。

なぜ標準ツールでは不十分なのか

straceやperfのようなツールが悪いわけではありません。ただスコープが限定されているだけです。straceは単一プロセスのシステムコールを表示します。perfはCPUカウンターとスタックトレースを提供します。どちらも「自分のアプリがvfs_read()を呼び出すたびに、ファイル名と呼び出し元のPIDをまとめて表示してほしい」といった外科的な質問には答えられません。

根本原因の問題

パフォーマンスの問題が一箇所に収まることはほとんどありません。アプリケーション、カーネル、ハードウェアの交点で発生します。その交点をトレースするには、複数のレイヤーを同時にインストゥルメント化し、データを相関させる必要があります。まさにそれがbpftraceの設計目的です。

bpftraceは、eBPF(Extended Berkeley Packet Filter)の上に構築された高レベルなトレーシング言語です。小さなトレーシングスクリプトをバイトコードにコンパイルし、カーネル内で安全に実行します。カーネルモジュール不要、再起動不要、システムクラッシュのリスクもありません。数行書いて実行し、答えを得たら停止する。実行していないときのオーバーヘッドは文字通りゼロです。

3つのアプローチの比較

bpftraceに落ち着く前に、カスタムトレーシングの3つの選択肢を評価しました。

選択肢1:strace + awkパイプライン

単一プロセスのsyscallトレーシングには機能します。開始は簡単です。ただし、プロセス間の相関やカーネル内部の関数トレーシングが必要になると完全に行き詰まります。負荷時のオーバーヘッドも大きく、straceをビジーなプロセスにアタッチすると10〜50倍の速度低下を引き起こすことがあります。

選択肢2:カスタムカーネルモジュール

完全な機能を持ちますが、トレーシング用のカーネルモジュールを書くことはCコード、カーネルヘッダー、慎重なメモリ管理、そして間違えればリブートを意味します。カーネルに組み込む永続的な本番グレードのインストゥルメンテーションが必要な場合は適切なツールです。ただし、ライブの問題をデバッグするには、イテレーション時間が厳しすぎます。

選択肢3:bpftraceスクリプト

まさに最適解です。スクリプト言語のイテレーション速度でカーネルレベルの可視性を得られます。スクリプトは3〜20行程度です。カーネル関数、ユーザースペースプローブ、トレースポイント、ハードウェアイベントにアタッチできます。スクリプトにバグがあっても、コンパイルに失敗するかカーネルのBPFベリファイアが拒否します。どちらの場合もシステムは動き続けます。

4GB RAMの本番Ubuntu 22.04サーバーでは、このアプローチにより、問題の診断にかかる処理時間が他の選択肢に比べて大幅に短縮されました。「仮説がある」から「データがある」までのフィードバックループが数時間から数分に縮まりました。

bpftraceを起動する

インストール

# Ubuntu 20.04+
sudo apt install -y bpftrace

# インストールを確認
bpftrace --version

# 利用可能なプローブを確認(数千行が出力される)
bpftrace -l 'kprobe:vfs_*' | head -20

BPFサポートがコンパイルされたカーネル4.9以降が必要です。これは事実上すべての最新ディストリビューションカーネルで当てはまります。プローブを実行するにはroot権限またはCAP_BPFケーパビリティも必要です。

基本的なプローブ構造

すべてのbpftraceスクリプトは同じパターンに従います。

probe_type:probe_name /filter/ {
    action;
}

これだけです。フィルターはオプションです。プローブが発火するたびにアクションが実行されます。

初めてのカスタムプローブを書く

ファイル読み込みをトレースする

具体的なものから始めましょう。このプローブは任意のプロセスがvfs_read()を呼び出すたびに発火します。

sudo bpftrace -e '
kprobe:vfs_read {
    printf("%s がファイルを読み込みました\n", comm);
}'

commはプロセス名を保持する組み込み変数です。システム上のすべてのファイル読み込みが出力されるため、大量の出力が生成されます。フィルターを追加しましょう。

sudo bpftrace -e '
kprobe:vfs_read /comm == "nginx"/ {
    printf("nginx 読み込み: pid=%d size=%d\n", pid, arg2);
}'

arg2はvfs_read()の3番目の引数で、要求されたバイト数です。プローブの引数はC関数のシグネチャに直接マッピングされます。

エントリー/リターンペアでレイテンシを計測する

ここがbpftraceが真に力を発揮する部分です。カーネル関数の実行時間を計測するには:

sudo bpftrace -e '
kprobe:do_sys_openat2 {
    @start[tid] = nsecs;
}

kretprobe:do_sys_openat2 /@start[tid]/ {
    @latency = hist(nsecs - @start[tid]);
    delete(@start[tid]);
}'

終了時(Ctrl+C)に、全プロセスのopen()レイテンシのヒストグラムがナノ秒単位で出力されます。@startはスレッドIDをキーとするマップ(ハッシュテーブル)です。nsecsは組み込みのタイムスタンプです。hist()は値を2のべき乗のバケツに自動的に集約します。

バグを見つけたプローブ

最初の問題に戻ります。調査の結果、過度なページキャッシュのプレッシャーが原因だと疑い始めました。私が書いたプローブはこちらです:

sudo bpftrace -e '
kprobe:shrink_node {
    @shrink_calls = count();
    @by_process[comm] = count();
}

interval:s:5 {
    printf("過去5秒間: %d回のshrink_node呼び出し\n", @shrink_calls);
    print(@by_process);
    clear(@shrink_calls);
    clear(@by_process);
}'

interval:s:5プローブはカーネルイベントに関係なく5秒ごとに発火します。定期的なレポーティングに便利です。30秒以内に、特定のプロセスがバッチ操作中に1秒間にshrink_node(メモリ回収関数)を何百回も呼び出しているのが確認できました。それが犯人でした:タイトなループで大きなバッファを割り当てて解放し、ページキャッシュを繰り返しスラッシングするデータ処理ジョブでした。

実践的なプローブパターン

特定のユーザースペース関数をトレースする

bpftraceはカーネル関数に限定されません。USDT(User Statically Defined Tracing)プローブやuprobesを使ってユーザースペースのバイナリもプローブできます:

# 実行中のバイナリの特定関数をトレースする
# /usr/bin/python3と関数オフセットは必要に応じて変更してください
sudo bpftrace -e '
uprobe:/usr/bin/python3:PyEval_EvalFrameEx {
    @python_calls[ustack(5)] = count();
}'

システムコールパターンを監視する

# プロセスごとのsyscall数をカウントし、3秒ごとに更新
sudo bpftrace -e '
tracepoint:raw_syscalls:sys_enter {
    @syscalls[comm] = count();
}

interval:s:3 {
    print(@syscalls);
    clear(@syscalls);
}'

ネットワーク接続のトレース

# 送信元と宛先を含む全TCP接続をログ出力
sudo bpftrace -e '
kprobe:tcp_connect {
    $sk = (struct sock *)arg0;
    printf("TCP接続: pid=%d comm=%s\n", pid, comm);
}'

再利用可能なプローブスクリプトを書く

ワンライナーは素早い調査に最適です。繰り返し使用する場合は、プローブを.btファイルとして保存しましょう:

cat > /usr/local/bin/file-latency.bt << 'EOF'
#!/usr/bin/env bpftrace

// 指定プロセスのopen()レイテンシをトレース
// 使用方法: bpftrace file-latency.bt

kprobe:do_sys_openat2 /comm == str($1)/ {
    @start[tid] = nsecs;
}

kretprobe:do_sys_openat2 /@start[tid]/ {
    @us = hist((nsecs - @start[tid]) / 1000);
    delete(@start[tid]);
}

END {
    printf("\nレイテンシヒストグラム(マイクロ秒):\n");
    print(@us);
}
EOF

sudo bpftrace file-latency.bt nginx

知っておくべき制限事項

bpftraceがすべての答えではありません。BPFベリファイアは厳格な制限を課しています:ループは反復回数に制限が必要、スタック容量は512バイトに制限、特定のメモリアクセスパターンは拒否されます。複雑なロジックを含む長期間の本番インストゥルメンテーションには、BCC(BPF Compiler Collection)やカーネルモジュールの方が適切な場合があります。

プローブの可用性はカーネルの設定にも依存します。コンパイラによってインライン化された関数はkprobeできません。プローブが何も出力しない場合は、bpftrace -l 'kprobe:function_name'でアタッチ可能かどうかを確認してください。

実践的なまとめ

最初の診断から6ヶ月後、bpftraceスクリプトはトラブルシューティングワークフローの標準的な一部となりました。最もよく使うパターンは、怪しいカーネルパスでのレイテンシヒストグラム、CPUを食いつぶしているように見えるときのプロセスごとのsyscallカウント、そして断続的な動作を捉えるための定期的なレポーティングインターバルです。

基本を学ぶための投資は数時間です。その見返りは、カスタムカーネルコードなしでは他のどのツールでも答えられない、実行中のシステムに関する質問に答えられる能力です。あらゆる規模でLinuxインフラを運用している方にとって、それは十分に価値のあるトレードオフです。

ワンライナーから始めましょう。レイテンシヒストグラムへと発展させていきましょう。従来のツールでは説明できない問題に直面したら、プローブを書きましょう。答えは通常、数分以内に見つかります。

Share: