ロギングパイプラインがKubernetesクラスターを圧迫するとき
220のマイクロサービスが稼働する30ノードのAWS EKSクラスターで、フラッシュセールの最中にノードの健全性が突如として急落しました。複数のネームスペースにまたがるPodがOOMKilledエラーで相次いでクラッシュし、APIレイテンシーは4,000ミリ秒を突破、監視ダッシュボードのメトリクス取得も停止しました。意外なことに、コアアプリケーションのワークロード自体は健全でした。原因はロギング用のDaemonSetにありました。ノードあたり1.8 GBものRAMを消費し、ディスクI/Oを枯渇させていたのです。
このクラスターでは最適化されていないログコレクターが実行されており、/var/log/containers/*.logをtailして未加工の文字列blobをサイズ無制限のメモリバッファへ格納し、すべてのログ行を単一のElasticsearchクラスターへ転送していました。Elasticsearchが一時的な書き込みキューのボトルネックに直面した際、コレクターはレコードをRAM上にキューイングし続けました。その結果、わずか12分でLinuxカーネルのOOM Killerが発動し、Podを見境なく強制終了し始めたのです。
ロギングパイプラインは、アプリケーションワークロードとリソースを奪い合うような事態を決して招いてはなりません。適切に設計されていれば、最小限のリソースで稼働し、アップストリームのバックプレッシャーを柔軟に吸収しながら、ビジネス価値に基づいてログレコードを適切にルーティングできます。
標準的なKubernetesロギングが秒間5万行で破綻する理由
Kubernetesエンジンは標準ストリーム経由でコンテナの出力をストリーミングします。コンテナランタイム(通常はcontainerdまたはCRI-O)が、これらのエントリをノードホスト上のファイルに追記します。小規模なステージング環境であればログファイルのtailはシンプルに見えますが、エンタープライズ規模の負荷がかかると主に3つの深刻なボトルネックが顕在化します。
- ランタイムの未加工ラッパー: ランタイムはペイロード行をコンテナメタデータでラップします。インジェスト時にJSON文字列をパースしないと、後続のインデックスエンジンが非構造化テキストのパースに膨大なCPUサイクルを浪費することになります。
- 揮発性メモリバッファ: 一時的なネットワーク障害やElasticsearchのスロットリングによって、インメモリのみのバッファは急速に膨張します。ローカルディスクへのフォールバック機構がなければ、コレクターはホストノードをクラッシュに追い込みます。
- 単一階層への集約コスト: 冗長なデバッグトレースやHTTP pingヘルスチェックまでを高パフォーマンスな検索インデックスに転送することは、高価なSSDストレージの浪費につながります。また、脆弱な単一障害点(SPOF)を生み出す原因にもなります。
ログフォワーダーのベンチマーク比較:Fluentd、Logstash、Fluent Bit
KubernetesのDaemonSetとして採用される主要なオープンソースのログコレクターとして、エンジニアリングチームは一般的に以下の3つを検討します。
1. Fluentd
Fluentdは成熟しており、プラグイン機構が豊富で、CNCFに支援されています。しかし、Rubyランタイムに起因するオーバーヘッドが無視できません。ノードあたり毎秒15,000行のインジェストレートにおいて、Fluentdは定常的に400 MB〜750 MBのRAMと、最新CPUコアの15%〜25%を消費します。
2. Logstash
Logstashはgrokフィルターによる高度な文字列変換機能を提供します。しかし、全ワーカーノードでJVMデーモンを実行することはノードのリソースを無駄に消費します。メモリベースラインは日常的にノードあたり1.2 GBを超過するため、大規模なコンテナフリートにおいて運用コストが見合いません。
3. Fluent Bit
C言語で記述されたFluent Bitは、単一の軽量バイナリとして動作します。検証した30ノードのクラスターでは、ノードあたりの平均メモリ消費量は38 MBに激減し、vCPUコアの使用率も3%未満に抑えられました。ネイティブなゼロコピーネットワーク、非同期イベントループ、内蔵SQLiteによるチャンクトラッキングを備えており、毎秒数万件のイベントも難なく処理します。
Fluent Bitの本番向けステップバイステップ構築手順
このリファレンスアーキテクチャでは、早期CRIパース、ファイルシステムによるバックプレッシャー対策バッファ、メタデータを意識したルーティングを活用し、OpenSearchと安価なS3コールドストレージにログを適切に振り分けます。
ステップ 1: ファイルシステムバッファと入力制限の設定
Fluent Bitの[INPUT]設定を更新して、ハイブリッドディスクバッファリングを有効化します。ダウンストリームのネットワークが滞留した場合でも、チャンクはRAMに蓄積される代わりにNVMeストレージへとフラッシュされます。
[SERVICE]
Flush 1
Log_Level info
Daemon off
Parsers_File parsers.conf
Storage.path /var/log/fluentbit/buffer
Storage.sync normal
Storage.checksum off
Storage.backlog.mem_limit 15M
[INPUT]
Name tail
Tag kube.*
Path /var/log/containers/*.log
Parser cri
DB /var/log/fluentbit/flb_kube.db
Mem_Buf_Limit 20MB
Skip_Long_Lines On
Refresh_Interval 10
Storage.type filesystem
ステップ 2: コンテナランタイムのラッパーを除去する
最近のノードは従来のDocker JSON形式ではなくCRI形式でログを出力します。parsers.confに以下の正規表現を定義し、本来のログ本文をlogという構造化フィールドに抽出します。
# parsers.conf
[PARSER]
Name cri
Format regex
Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<log>.*)$
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S.%L%z
[PARSER]
Name app_json
Format json
Time_Key timestamp
Time_Format %Y-%m-%dT%H:%M:%SZ
ステップ 3: Kubeletメタデータの付与とアプリケーションペイロードのデコード
次に、kubernetesフィルターを使用してローカルのKubeletソケット経由でPod名、ネームスペース、ラベルを付与します。その後、埋め込まれたペイロードをパースします。
[FILTER]
Name kubernetes
Match kube.*
Kube_URL https://kubernetes.default.svc:443
Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
Kube_Tag_Prefix kube.var.log.containers.
Merge_Log On
Merge_Log_Key payload
Keep_Log Off
K8S-Logging.Parser On
K8S-Logging.Exclude On
[FILTER]
Name parser
Match kube.*
Key_Name log
Parser app_json
Reserve_Data True
ステップ 4: 重要度(ログレベル)に応じた動的ルーティング
日常的なHTTP 200のヘルスチェックなどを高コストなホットクラスターへ投入するのは避けるべきです。代わりに、rewrite_tagを使用してログフィールドを検査します。迅速な対処が必要なエラートレースをOpenSearchへルーティングし、一般的なログ出力はすべてAmazon S3へ直接アーカイブします。
# プライマリストリームを維持しつつ、アラート対象のエラーを専用タグに分離
[FILTER]
Name rewrite_tag
Match kube.*
Rule $level ^(ERROR|FATAL|CRITICAL)$ error.$TAG true
# 宛先1: 緊急性の高いエラートレースをホットストレージのOpenSearchへ送信
[OUTPUT]
Name opensearch
Match error.*
Host opensearch.logging.svc.cluster.local
Port 9200
Index k8s-critical-errors
Type _doc
Retry_Limit 5
# 宛先2: 大量に出力される運用ログをS3へアーカイブ
[OUTPUT]
Name s3
Match kube.*
bucket production-k8s-cold-logs
region us-east-1
total_file_size 50M
upload_timeout 10m
use_put_object On
s3_key_format /k8s/%Y/%m/%d/$TAG-%H%M%S.gz
compression gzip
本番運用のためのベストプラクティス
Storage.type filesystemを必須化: ディスクをバックエンドとするバッファリングは不可欠です。ダウンストリームの集約サーバーがネットワークタイムアウトを起こした際にも、Podの退去(Eviction)からノードを保護します。- 不要なフィールドの削減:
record_modifierフィルターを使用して、コンテナのハッシュIDなど未使用のメタデータフィールドを削除します。1行あたり150バイト削減するだけでも、1,000 EPSの環境で1日約13 GBの容量節約になります。 Mem_Buf_Limitを厳格に制限: tailバッファの上限を入力ごとに15 MB〜25 MB程度に制限します。これにより、トラフィックの急増時でもコレクターがシステムレベルのカーネルOOM Killを引き起こすのを確実に防ぎます。

