Lưu Trữ Metrics Prometheus Dài Hạn với Thanos: Truy Vấn Tập Trung Trên Nhiều Kubernetes Cluster

DevOps tutorial - IT technology blog
DevOps tutorial - IT technology blog

Khởi Động Nhanh — Chạy Thanos Trong 5 Phút

Chạy Prometheus trên nhiều Kubernetes cluster là chuyện đơn giản. Nhưng chạy ổn định, với hàng tháng dữ liệu lịch sử và một endpoint truy vấn duy nhất bao phủ tất cả cluster — đó mới là chỗ hầu hết team bị vướng. Thanos giải quyết đúng vấn đề này. Tôi đã dùng nó trong môi trường production, nơi thời gian lưu trữ metrics tăng từ 15 ngày (mặc định của Prometheus) lên hơn 13 tháng mà không tốn thêm một GB nào trên storage cục bộ của cluster.

Trước tiên, bạn cần có sẵn một Prometheus instance đang chạy trong cluster. Nếu có rồi, việc thêm Thanos nhẹ hơn bạn nghĩ. Bắt đầu với Sidecar — một container chạy cạnh pod Prometheus của bạn:

containers:
  - name: prometheus
    image: prom/prometheus:v2.47.0
    args:
      - --storage.tsdb.min-block-duration=2h
      - --storage.tsdb.max-block-duration=2h
      - --web.enable-lifecycle
  - name: thanos-sidecar
    image: quay.io/thanos/thanos:v0.35.0
    args:
      - sidecar
      - --tsdb.path=/prometheus
      - --prometheus.url=http://localhost:9090
      - --grpc-address=0.0.0.0:10901
      - --http-address=0.0.0.0:10902
      - --objstore.config-file=/etc/thanos/objstore.yaml
    volumeMounts:
      - name: prometheus-data
        mountPath: /prometheus
      - name: thanos-objstore-config
        mountPath: /etc/thanos

Việc đặt cả min-block-duration lẫn max-block-duration thành 2h là có chủ đích. Nó báo cho Prometheus dừng tự nén block, nhường công việc đó cho Thanos Compactor. Nhiều hướng dẫn bỏ qua cài đặt này. Đừng làm vậy.

Tìm Hiểu Sâu — Kiến Trúc Thanos Bạn Thực Sự Cần Hiểu

Thanos là một tập hợp các component, không phải một binary duy nhất. Mỗi component có nhiệm vụ riêng. Bỏ qua mô hình này và bạn sẽ mất hàng giờ debug triệu chứng thay vì nguyên nhân gốc rễ.

Sidecar — Cầu Nối Tới Object Storage

Sidecar chạy cạnh mỗi Prometheus instance. Nó làm hai việc: expose dữ liệu Prometheus qua gRPC để Querier có thể truy cập, và đẩy các TSDB block 2 giờ đã hoàn chỉnh lên bucket object storage của bạn. Cấu hình backend object storage trong một secret riêng:

type: S3
config:
  bucket: my-thanos-metrics
  endpoint: s3.amazonaws.com
  region: ap-northeast-1
  access_key: AKIAIOSFODNN7EXAMPLE
  secret_key: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

Thanos hỗ trợ S3, GCS, Azure Blob và MinIO. Với các setup tự host, MinIO là lựa chọn phổ biến nhất — nó nói S3 API và chạy trong Kubernetes với overhead tối thiểu.

Store Gateway — Đọc Dữ Liệu Từ Object Storage

Sau khi block đã nằm trong object storage, Store Gateway giúp chúng có thể truy vấn trở lại. Deploy nó như một Deployment riêng:

thanos store \
  --data-dir=/var/thanos/store \
  --grpc-address=0.0.0.0:10901 \
  --http-address=0.0.0.0:10902 \
  --objstore.config-file=/etc/thanos/objstore.yaml

Store Gateway tải các file index của block về local và stream dữ liệu metrics theo yêu cầu. Nó không load tất cả vào memory — mà fetch chunk theo kiểu lazy. Với bucket lớn chứa nhiều năm dữ liệu, hãy cấp cho nó một PVC dùng SSD để làm index cache. Thay đổi này đơn giản thôi nhưng đã giúp thời gian truy vấn của chúng tôi giảm từ 12 giây xuống dưới 2 giây với các truy vấn khoảng 6 tháng.

Querier — Endpoint Truy Vấn Duy Nhất Của Bạn

Đây là component người dùng tương tác trực tiếp. Nó hoạt động như một Prometheus-compatible API nhưng fan out truy vấn tới tất cả Sidecar và Store Gateway, rồi deduplicate kết quả:

thanos query \
  --http-address=0.0.0.0:9090 \
  --grpc-address=0.0.0.0:10901 \
  --query.replica-label=prometheus_replica \
  --store=thanos-sidecar-cluster-a:10901 \
  --store=thanos-sidecar-cluster-b:10901 \
  --store=thanos-store-gateway:10901

Trỏ Grafana vào cổng HTTP của Querier. Các dashboard của bạn giờ lấy dữ liệu từ nhiều cluster và từ object storage qua một URL duy nhất — không cần chuyển cluster, không cần quản lý nhiều data source riêng cho từng cluster.

Compactor — Quản Lý Object Storage Hiệu Quả

Nếu không có Compactor, object storage của bạn sẽ chứa hàng nghìn block 2 giờ nhỏ lẻ. Compactor gộp chúng thành các block lớn hơn (6h, 2d, rồi 2w) và áp dụng downsampling cho dữ liệu cũ hơn:

thanos compact \
  --data-dir=/var/thanos/compact \
  --objstore.config-file=/etc/thanos/objstore.yaml \
  --retention.resolution-raw=30d \
  --retention.resolution-5m=90d \
  --retention.resolution-1h=1y \
  --wait

Chạy component này như một Deployment với replica đơn — đừng bao giờ scale lên hơn 1, nó không hỗ trợ truy cập đồng thời vào cùng một bucket. Các flag retention ở trên giữ dữ liệu raw 30 ngày, downsample 5 phút trong 90 ngày và downsample 1 giờ trong cả năm. Truy vấn một năm dữ liệu ở độ phân giải 1h rất nhanh và tiết kiệm.

Nâng Cao — Federation Đa Cluster Ở Quy Mô Lớn

Service Discovery Với DNS SD

Hardcode địa chỉ Sidecar trong Querier ổn với hai cluster. Nhưng từ năm cluster trở lên, hãy dùng DNS-based service discovery. Tạo một headless Service cho các Sidecar, rồi trỏ Thanos vào tên DNS:

thanos query \
  --store=dnssrv+_grpc._tcp.thanos-sidecar.monitoring.svc.cluster.local \
  --store=thanos-store-gateway.monitoring.svc.cluster.local:10901

Để discovery cross-cluster, chạy một Thanos Querier mỗi cluster, rồi trỏ một Querier cấp trên vào tất cả chúng. Đó là pattern Query Frontend. Nó bổ sung thêm caching và query splitting:

thanos query-frontend \
  --http-address=0.0.0.0:9090 \
  --query-frontend.downstream-url=http://thanos-querier:9090 \
  --query-range.split-interval=24h \
  --query-range.max-retries-per-request=5 \
  --cache-compression-type=snappy

Query Frontend chia nhỏ các truy vấn khoảng dài thành từng chunk 24 giờ và cache mỗi chunk độc lập. Một dashboard tải dữ liệu 30 ngày chuyển từ một truy vấn chậm thành 30 truy vấn song song có thể cache được.

Ruler — Alerting và Recording Rules Bao Phủ Nhiều Cluster

Một điều Prometheus không thể làm natively là đánh giá recording rule tham chiếu metrics từ hai cluster khác nhau. Thanos Ruler thì có thể:

apiVersion: v1
kind: ConfigMap
metadata:
  name: thanos-ruler-rules
data:
  rules.yaml: |
    groups:
      - name: cross-cluster
        interval: 1m
        rules:
          - record: job:http_requests:rate5m
            expr: sum(rate(http_requests_total[5m])) by (job, cluster)

Ruler truy vấn Querier — thứ nhìn thấy tất cả cluster cùng lúc — và ghi kết quả trở lại object storage dưới dạng TSDB block mới. Mỗi cluster vẫn hoàn toàn độc lập với nhau. Góc nhìn tổng thể nằm hoàn toàn trong Ruler.

Mẹo Thực Tiễn Từ Thực Tế

Gắn Nhãn Cluster — Mọi Thứ Phụ Thuộc Vào Điều Này

Thêm external label vào mỗi Prometheus instance. Nếu không có, deduplication sẽ bị hỏng và bạn sẽ thấy time series bị trùng trong các truy vấn:

global:
  external_labels:
    cluster: production-ap-northeast-1
    region: ap-northeast-1

Những team bỏ qua external label sẽ mất nhiều ngày debug vì sao đồ thị request count hiển thị gấp đôi traffic thực tế. Tôi đã chứng kiến điều này xảy ra trong ba lần migrate cluster riêng biệt.

Theo Dõi Chi Phí Object Storage

Thanos upload mỗi block 2 giờ một lần. Với cluster scraping 100k time series ở interval 15 giây, bạn sẽ tốn khoảng 500MB mỗi ngày trước khi nén. Hãy bật compression ở tầng bucket — S3 không nén object theo mặc định. Ngoài ra hãy để ý số lần gọi LIST API. Store Gateway gọi chúng liên tục khi khởi động và trong quá trình truy vấn, mà các thao tác LIST trên S3 không miễn phí đâu.

Kiểm tra chi phí đơn giản: liệt kê cấu trúc bucket để xem block tích lũy như thế nào:

# Kiểm tra số lượng block hiện có và kích thước của chúng
aws s3 ls s3://my-thanos-metrics/ --recursive --human-readable | \
  awk '{print $3, $4}' | \
  tail -20

# Đếm tổng số block
aws s3 ls s3://my-thanos-metrics/ | wc -l

Tinh Chỉnh Cache Của Store Gateway

Cache index trong memory mặc định của Store Gateway là 250MB. Với bucket có nhiều hơn vài tháng dữ liệu, hãy tăng lên:

thanos store \
  --index-cache-size=1GB \
  --chunk-pool-size=2GB \
  --store.grpc.series-max-concurrency=20

Ngoài ra, bạn có thể kết nối một Redis hoặc Memcached instance làm shared cache. Điều này tạo ra sự khác biệt rõ rệt khi nhiều kỹ sư cùng truy vấn một khoảng thời gian — nếu không có nó, mỗi pod sẽ độc lập fetch cùng một dữ liệu index từ object storage.

Giám Sát Chính Thanos

Thanos expose Prometheus metrics tại /metrics trên cổng HTTP của mỗi component. Các metrics bạn thực sự cần theo dõi:

  • thanos_compact_group_compactions_total — tình trạng hoạt động của compaction
  • thanos_store_bucket_operations_total — tốc độ gọi object storage API
  • thanos_query_concurrent_gate_queries_in_flight — tải truy vấn trên Querier
  • thanos_sidecar_prometheus_up — Sidecar có kết nối được tới Prometheus không (luôn phải là 1)

Kiểm tra nhanh xem block có đang được đẩy lên đúng cách không:

kubectl logs deployment/prometheus -c thanos-sidecar | grep -i "uploaded"
# Kết quả mong đợi:
# level=info msg="uploaded block" id=01HXYZ... duration=2.3s

Nếu log upload không xuất hiện mỗi 2 giờ, hãy kiểm tra cài đặt TSDB block duration trước, rồi xác minh lại credentials object storage của Sidecar.

Một khi vượt qua một cluster, hoặc khi yêu cầu retention kéo dài hơn vài tuần, Thanos không còn cảm giác như gánh nặng nữa. Thêm cluster mới? Thêm một Sidecar và một flag --store. Cần thêm throughput đọc? Thêm Store Gateway. Querier tự động fan out — bạn không cần động tới bất cứ thứ gì khác.

Share: