Khi pipeline logging làm nghẽn cluster Kubernetes
Trong một đợt flash sale trên cluster AWS EKS gồm 30 node đang chạy 220 microservice, tình trạng hoạt động của các node đột ngột sụt giảm nghiêm trọng. Các pod trên nhiều namespace liên tục bị crash với lỗi OOMKilled. Độ trễ API tăng vọt vượt mốc 4.000 ms, còn các dashboard giám sát thì đứng hình. Đáng ngạc nhiên là các workload ứng dụng chính vẫn hoàn toàn bình thường. Thủ phạm thực sự chính là DaemonSet logging: nó đang ngốn tới 1,8 GB RAM trên mỗi node và làm nghẽn hoàn toàn I/O đĩa cứng.
Cluster này sử dụng một log collector chưa được tối ưu, liên tục theo dõi (tail) file /var/log/containers/*.log. Bộ thu thập này đẩy trực tiếp các chuỗi raw string vào một memory buffer không giới hạn dung lượng, rồi chuyển toàn bộ từng dòng log tới một cluster Elasticsearch duy nhất. Khi Elasticsearch gặp hiện tượng nghẽn hàng đợi ghi (write queue bottleneck) tạm thời, các collector bắt đầu tích tụ log trong RAM. Chỉ trong vòng 12 phút, cơ chế OOM killer của Linux kernel đã bắt đầu cưỡng chế tắt hàng loạt pod một cách bừa bãi.
Một pipeline logging tuyệt đối không bao giờ được tranh chấp tài nguyên với các workload ứng dụng. Khi được thiết kế chuẩn xác, nó sẽ hoạt động cực kỳ nhẹ nhàng, triệt tiêu áp lực ngược (backpressure) từ upstream một cách mượt mà và định tuyến dữ liệu log dựa trên giá trị nghiệp vụ.
Vì sao kiến trúc logging mặc định của Kubernetes sụp đổ ở ngưỡng 50.000 dòng/giây
Các engine của Kubernetes truyền luồng output của container qua các stream tiêu chuẩn. Container runtime—thường là containerd hoặc CRI-O—sẽ ghi tiếp các bản ghi này vào file trên host của node. Việc đọc tail các file log nghe có vẻ đơn giản trong môi trường staging quy mô nhỏ. Tuy nhiên, dưới tải thực tế của doanh nghiệp, ba nút thắt cổ chai lớn bắt đầu xuất hiện:
- Vỏ bọc runtime thô (Raw Runtime Wrappers): Các runtime bọc dòng payload bên trong metadata của container. Nếu không phân tích cú pháp (parse) chuỗi JSON ngay lúc thu thập, các engine lập chỉ mục (indexing) phía hạ nguồn sẽ phải tiêu tốn lượng CPU khổng lồ để parse văn bản phi cấu trúc.
- Buffer trên RAM dễ bay hơi (Volatile Memory Buffers): Chập chờn mạng và hiện tượng throttling của Elasticsearch khiến các buffer thuần in-memory phình to nhanh chóng. Nếu không có cơ chế lưu tạm dự phòng xuống ổ đĩa cục bộ, log collector sẽ làm sập luôn cả node máy chủ.
- Chi phí thu thập tập trung một tầng (Single-Tier Ingestion Costs): Đưa tất cả log debug dài dòng hay các lượt kiểm tra health check HTTP ping vào các search index hiệu năng cao là sự lãng phí dung lượng SSD đắt đỏ. Đồng thời, điều này cũng tạo ra một điểm lỗi đơn lẻ (single point of failure) đầy rủi ro.
Đánh giá benchmark các Log Forwarder: Fluentd, Logstash và Fluent Bit
Các đội ngũ kỹ thuật thường cân nhắc ba bộ thu thập mã nguồn mở phổ biến nhất cho Kubernetes DaemonSet:
1. Fluentd
Fluentd rất trưởng thành, giàu plugin mở rộng và được bảo trợ bởi CNCF. Tuy nhiên, môi trường thực thi bằng Ruby tạo ra mức overhead đáng kể. Ở tốc độ thu thập 15.000 dòng mỗi giây trên mỗi node, Fluentd liên tục chiếm dụng từ 400 MB đến 750 MB RAM cùng 15% đến 25% công suất của một CPU core hiện đại.
2. Logstash
Logstash cung cấp khả năng biến đổi chuỗi mạnh mẽ thông qua các grok filter. Dẫu vậy, việc chạy một daemon trên nền JVM trên từng worker node làm lãng phí nghiêm trọng tài nguyên node. Mức tiêu thụ RAM cơ bản thường xuyên vượt quá 1,2 GB mỗi node, khiến nó không còn khả thi về mặt chi phí cho các cụm container quy mô lớn.
3. Fluent Bit
Được viết bằng ngôn ngữ C, Fluent Bit chạy dưới dạng một binary đơn lẻ siêu nhẹ. Trên cluster 30 node của chúng tôi, mức tiêu thụ RAM trung bình giảm xuống chỉ còn 38 MB mỗi node và ngốn chưa tới 3% một vCPU core. Nhờ cơ chế networking zero-copy nguyên bản, vòng lặp sự kiện bất đồng bộ (async event loops) và khả năng theo dõi chunk tích hợp qua SQLite, nó xử lý hàng chục nghìn event mỗi giây một cách nhẹ nhàng.
Hướng dẫn từng bước cấu hình Fluent Bit cho môi trường Production
Kiến trúc tham chiếu này tận dụng khả năng parse CRI sớm, buffer trên filesystem để chống backpressure và định tuyến dựa trên metadata nhằm phân tách luồng log giữa OpenSearch và kho lưu trữ lạnh S3 giá rẻ.
Bước 1: Cấu hình Filesystem Buffering và giới hạn Input
Cập nhật cấu hình [INPUT] của Fluent Bit để sử dụng cơ chế buffer hỗn hợp trên ổ đĩa. Khi kết nối mạng tới hệ thống hạ nguồn bị nghẽn, các chunk dữ liệu sẽ được ghi tạm xuống bộ nhớ NVMe thay vì tích tụ trong RAM.
[SERVICE]
Flush 1
Log_Level info
Daemon off
Parsers_File parsers.conf
Storage.path /var/log/fluentbit/buffer
Storage.sync normal
Storage.checksum off
Storage.backlog.mem_limit 15M
[INPUT]
Name tail
Tag kube.*
Path /var/log/containers/*.log
Parser cri
DB /var/log/fluentbit/flb_kube.db
Mem_Buf_Limit 20MB
Skip_Long_Lines On
Refresh_Interval 10
Storage.type filesystem
Bước 2: Bóc tách lớp vỏ bọc Container Runtime
Các node hiện đại xuất log theo định dạng CRI thay vì Docker JSON cũ. Hãy định nghĩa biểu thức chính quy (regex) này trong parsers.conf để trích xuất nội dung log thực tế vào một trường có cấu trúc tên là log:
# parsers.conf
[PARSER]
Name cri
Format regex
Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<log>.*)$
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S.%L%z
[PARSER]
Name app_json
Format json
Time_Key timestamp
Time_Format %Y-%m-%dT%H:%M:%SZ
Bước 3: Bổ sung Metadata từ Kubelet và Giải mã Payload ứng dụng
Tiếp theo, sử dụng filter kubernetes để đính kèm tên pod, namespace và nhãn (label) thông qua socket kubelet cục bộ. Sau đó tiến hành parse payload được nhúng bên trong:
[FILTER]
Name kubernetes
Match kube.*
Kube_URL https://kubernetes.default.svc:443
Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
Kube_Tag_Prefix kube.var.log.containers.
Merge_Log On
Merge_Log_Key payload
Keep_Log Off
K8S-Logging.Parser On
K8S-Logging.Exclude On
[FILTER]
Name parser
Match kube.*
Key_Name log
Parser app_json
Reserve_Data True
Bước 4: Định tuyến Log linh hoạt theo Mức độ nghiêm trọng (Severity)
Tránh đẩy ồ ạt các log kiểm tra HTTP 200 thông thường vào các cluster hot lưu trữ đắt đỏ. Thay vào đó, hãy kiểm tra các trường log bằng rewrite_tag. Định tuyến các trace lỗi cần xử lý vào OpenSearch và lưu trữ toàn bộ output thông thường trực tiếp vào Amazon S3:
# Tách riêng các lỗi sang tag có thể cảnh báo, đồng thời giữ nguyên luồng chính
[FILTER]
Name rewrite_tag
Match kube.*
Rule $level ^(ERROR|FATAL|CRITICAL)$ error.$TAG true
# Đích đến 1: Các trace lỗi khẩn cấp được lưu vào hot storage OpenSearch
[OUTPUT]
Name opensearch
Match error.*
Host opensearch.logging.svc.cluster.local
Port 9200
Index k8s-critical-errors
Type _doc
Retry_Limit 5
# Đích đến 2: Toàn bộ log vận hành dung lượng lớn được lưu trữ sang S3
[OUTPUT]
Name s3
Match kube.*
bucket production-k8s-cold-logs
region us-east-1
total_file_size 50M
upload_timeout 10m
use_put_object On
s3_key_format /k8s/%Y/%m/%d/$TAG-%H%M%S.gz
compression gzip
Các nguyên tắc thực tế đã được kiểm chứng cho Production
- Bắt buộc dùng
Storage.type filesystem: Cơ chế buffer ghi xuống ổ đĩa là yêu cầu sống còn. Nó bảo vệ các node khỏi tình trạng bị eviction (trục xuất pod) mỗi khi hệ thống tổng hợp log hạ nguồn gặp lỗi timeout mạng. - Loại bỏ các trường dư thừa: Loại bỏ các trường metadata không sử dụng như container hash ID bằng filter
record_modifier. Cắt giảm 150 byte trên mỗi dòng log giúp tiết kiệm khoảng 13 GB dữ liệu mỗi ngày ở mức tải 1.000 EPS. - Giới hạn
Mem_Buf_Limitchặt chẽ: Đặt giới hạn buffer tail trong khoảng 15 MB đến 25 MB cho mỗi input. Điều này đảm bảo log collector không bao giờ kích hoạt cơ chế OOM kill của kernel hệ thống khi lưu lượng truy cập tăng đột biến.

