Fluent BitによるKubernetesロギングの最適化:フィルター、パーサー、複数宛先ルーティングの実践

DevOps tutorial - IT technology blog
DevOps tutorial - IT technology blog

ロギングパイプラインがKubernetesクラスターを圧迫するとき

220のマイクロサービスが稼働する30ノードのAWS EKSクラスターで、フラッシュセールの最中にノードの健全性が突如として急落しました。複数のネームスペースにまたがるPodがOOMKilledエラーで相次いでクラッシュし、APIレイテンシーは4,000ミリ秒を突破、監視ダッシュボードのメトリクス取得も停止しました。意外なことに、コアアプリケーションのワークロード自体は健全でした。原因はロギング用のDaemonSetにありました。ノードあたり1.8 GBものRAMを消費し、ディスクI/Oを枯渇させていたのです。

このクラスターでは最適化されていないログコレクターが実行されており、/var/log/containers/*.logをtailして未加工の文字列blobをサイズ無制限のメモリバッファへ格納し、すべてのログ行を単一のElasticsearchクラスターへ転送していました。Elasticsearchが一時的な書き込みキューのボトルネックに直面した際、コレクターはレコードをRAM上にキューイングし続けました。その結果、わずか12分でLinuxカーネルのOOM Killerが発動し、Podを見境なく強制終了し始めたのです。

ロギングパイプラインは、アプリケーションワークロードとリソースを奪い合うような事態を決して招いてはなりません。適切に設計されていれば、最小限のリソースで稼働し、アップストリームのバックプレッシャーを柔軟に吸収しながら、ビジネス価値に基づいてログレコードを適切にルーティングできます。

標準的なKubernetesロギングが秒間5万行で破綻する理由

Kubernetesエンジンは標準ストリーム経由でコンテナの出力をストリーミングします。コンテナランタイム(通常はcontainerdまたはCRI-O)が、これらのエントリをノードホスト上のファイルに追記します。小規模なステージング環境であればログファイルのtailはシンプルに見えますが、エンタープライズ規模の負荷がかかると主に3つの深刻なボトルネックが顕在化します。

  • ランタイムの未加工ラッパー: ランタイムはペイロード行をコンテナメタデータでラップします。インジェスト時にJSON文字列をパースしないと、後続のインデックスエンジンが非構造化テキストのパースに膨大なCPUサイクルを浪費することになります。
  • 揮発性メモリバッファ: 一時的なネットワーク障害やElasticsearchのスロットリングによって、インメモリのみのバッファは急速に膨張します。ローカルディスクへのフォールバック機構がなければ、コレクターはホストノードをクラッシュに追い込みます。
  • 単一階層への集約コスト: 冗長なデバッグトレースやHTTP pingヘルスチェックまでを高パフォーマンスな検索インデックスに転送することは、高価なSSDストレージの浪費につながります。また、脆弱な単一障害点(SPOF)を生み出す原因にもなります。

ログフォワーダーのベンチマーク比較:Fluentd、Logstash、Fluent Bit

KubernetesのDaemonSetとして採用される主要なオープンソースのログコレクターとして、エンジニアリングチームは一般的に以下の3つを検討します。

1. Fluentd

Fluentdは成熟しており、プラグイン機構が豊富で、CNCFに支援されています。しかし、Rubyランタイムに起因するオーバーヘッドが無視できません。ノードあたり毎秒15,000行のインジェストレートにおいて、Fluentdは定常的に400 MB〜750 MBのRAMと、最新CPUコアの15%〜25%を消費します。

2. Logstash

Logstashはgrokフィルターによる高度な文字列変換機能を提供します。しかし、全ワーカーノードでJVMデーモンを実行することはノードのリソースを無駄に消費します。メモリベースラインは日常的にノードあたり1.2 GBを超過するため、大規模なコンテナフリートにおいて運用コストが見合いません。

3. Fluent Bit

C言語で記述されたFluent Bitは、単一の軽量バイナリとして動作します。検証した30ノードのクラスターでは、ノードあたりの平均メモリ消費量は38 MBに激減し、vCPUコアの使用率も3%未満に抑えられました。ネイティブなゼロコピーネットワーク、非同期イベントループ、内蔵SQLiteによるチャンクトラッキングを備えており、毎秒数万件のイベントも難なく処理します。

Fluent Bitの本番向けステップバイステップ構築手順

このリファレンスアーキテクチャでは、早期CRIパース、ファイルシステムによるバックプレッシャー対策バッファ、メタデータを意識したルーティングを活用し、OpenSearchと安価なS3コールドストレージにログを適切に振り分けます。

ステップ 1: ファイルシステムバッファと入力制限の設定

Fluent Bitの[INPUT]設定を更新して、ハイブリッドディスクバッファリングを有効化します。ダウンストリームのネットワークが滞留した場合でも、チャンクはRAMに蓄積される代わりにNVMeストレージへとフラッシュされます。

[SERVICE]
    Flush         1
    Log_Level     info
    Daemon        off
    Parsers_File  parsers.conf
    Storage.path  /var/log/fluentbit/buffer
    Storage.sync  normal
    Storage.checksum off
    Storage.backlog.mem_limit 15M

[INPUT]
    Name              tail
    Tag               kube.*
    Path              /var/log/containers/*.log
    Parser            cri
    DB                /var/log/fluentbit/flb_kube.db
    Mem_Buf_Limit     20MB
    Skip_Long_Lines   On
    Refresh_Interval  10
    Storage.type      filesystem

ステップ 2: コンテナランタイムのラッパーを除去する

最近のノードは従来のDocker JSON形式ではなくCRI形式でログを出力します。parsers.confに以下の正規表現を定義し、本来のログ本文をlogという構造化フィールドに抽出します。

# parsers.conf
[PARSER]
    Name        cri
    Format      regex
    Regex       ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<log>.*)$
    Time_Key    time
    Time_Format %Y-%m-%dT%H:%M:%S.%L%z

[PARSER]
    Name        app_json
    Format      json
    Time_Key    timestamp
    Time_Format %Y-%m-%dT%H:%M:%SZ

ステップ 3: Kubeletメタデータの付与とアプリケーションペイロードのデコード

次に、kubernetesフィルターを使用してローカルのKubeletソケット経由でPod名、ネームスペース、ラベルを付与します。その後、埋め込まれたペイロードをパースします。

[FILTER]
    Name                kubernetes
    Match               kube.*
    Kube_URL            https://kubernetes.default.svc:443
    Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token
    Kube_Tag_Prefix     kube.var.log.containers.
    Merge_Log           On
    Merge_Log_Key       payload
    Keep_Log            Off
    K8S-Logging.Parser  On
    K8S-Logging.Exclude On

[FILTER]
    Name         parser
    Match        kube.*
    Key_Name     log
    Parser       app_json
    Reserve_Data True

ステップ 4: 重要度(ログレベル)に応じた動的ルーティング

日常的なHTTP 200のヘルスチェックなどを高コストなホットクラスターへ投入するのは避けるべきです。代わりに、rewrite_tagを使用してログフィールドを検査します。迅速な対処が必要なエラートレースをOpenSearchへルーティングし、一般的なログ出力はすべてAmazon S3へ直接アーカイブします。

# プライマリストリームを維持しつつ、アラート対象のエラーを専用タグに分離
[FILTER]
    Name          rewrite_tag
    Match         kube.*
    Rule          $level ^(ERROR|FATAL|CRITICAL)$ error.$TAG true

# 宛先1: 緊急性の高いエラートレースをホットストレージのOpenSearchへ送信
[OUTPUT]
    Name            opensearch
    Match           error.*
    Host            opensearch.logging.svc.cluster.local
    Port            9200
    Index           k8s-critical-errors
    Type            _doc
    Retry_Limit     5

# 宛先2: 大量に出力される運用ログをS3へアーカイブ
[OUTPUT]
    Name                         s3
    Match                        kube.*
    bucket                       production-k8s-cold-logs
    region                       us-east-1
    total_file_size              50M
    upload_timeout               10m
    use_put_object               On
    s3_key_format                /k8s/%Y/%m/%d/$TAG-%H%M%S.gz
    compression                  gzip

本番運用のためのベストプラクティス

  • Storage.type filesystem を必須化: ディスクをバックエンドとするバッファリングは不可欠です。ダウンストリームの集約サーバーがネットワークタイムアウトを起こした際にも、Podの退去(Eviction)からノードを保護します。
  • 不要なフィールドの削減: record_modifierフィルターを使用して、コンテナのハッシュIDなど未使用のメタデータフィールドを削除します。1行あたり150バイト削減するだけでも、1,000 EPSの環境で1日約13 GBの容量節約になります。
  • Mem_Buf_Limit を厳格に制限: tailバッファの上限を入力ごとに15 MB〜25 MB程度に制限します。これにより、トラフィックの急増時でもコレクターがシステムレベルのカーネルOOM Killを引き起こすのを確実に防ぎます。
Share: