Khởi Động Nhanh — Chạy Thanos Trong 5 Phút
Chạy Prometheus trên nhiều Kubernetes cluster là chuyện đơn giản. Nhưng chạy ổn định, với hàng tháng dữ liệu lịch sử và một endpoint truy vấn duy nhất bao phủ tất cả cluster — đó mới là chỗ hầu hết team bị vướng. Thanos giải quyết đúng vấn đề này. Tôi đã dùng nó trong môi trường production, nơi thời gian lưu trữ metrics tăng từ 15 ngày (mặc định của Prometheus) lên hơn 13 tháng mà không tốn thêm một GB nào trên storage cục bộ của cluster.
Trước tiên, bạn cần có sẵn một Prometheus instance đang chạy trong cluster. Nếu có rồi, việc thêm Thanos nhẹ hơn bạn nghĩ. Bắt đầu với Sidecar — một container chạy cạnh pod Prometheus của bạn:
containers:
- name: prometheus
image: prom/prometheus:v2.47.0
args:
- --storage.tsdb.min-block-duration=2h
- --storage.tsdb.max-block-duration=2h
- --web.enable-lifecycle
- name: thanos-sidecar
image: quay.io/thanos/thanos:v0.35.0
args:
- sidecar
- --tsdb.path=/prometheus
- --prometheus.url=http://localhost:9090
- --grpc-address=0.0.0.0:10901
- --http-address=0.0.0.0:10902
- --objstore.config-file=/etc/thanos/objstore.yaml
volumeMounts:
- name: prometheus-data
mountPath: /prometheus
- name: thanos-objstore-config
mountPath: /etc/thanos
Việc đặt cả min-block-duration lẫn max-block-duration thành 2h là có chủ đích. Nó báo cho Prometheus dừng tự nén block, nhường công việc đó cho Thanos Compactor. Nhiều hướng dẫn bỏ qua cài đặt này. Đừng làm vậy.
Tìm Hiểu Sâu — Kiến Trúc Thanos Bạn Thực Sự Cần Hiểu
Thanos là một tập hợp các component, không phải một binary duy nhất. Mỗi component có nhiệm vụ riêng. Bỏ qua mô hình này và bạn sẽ mất hàng giờ debug triệu chứng thay vì nguyên nhân gốc rễ.
Sidecar — Cầu Nối Tới Object Storage
Sidecar chạy cạnh mỗi Prometheus instance. Nó làm hai việc: expose dữ liệu Prometheus qua gRPC để Querier có thể truy cập, và đẩy các TSDB block 2 giờ đã hoàn chỉnh lên bucket object storage của bạn. Cấu hình backend object storage trong một secret riêng:
type: S3
config:
bucket: my-thanos-metrics
endpoint: s3.amazonaws.com
region: ap-northeast-1
access_key: AKIAIOSFODNN7EXAMPLE
secret_key: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Thanos hỗ trợ S3, GCS, Azure Blob và MinIO. Với các setup tự host, MinIO là lựa chọn phổ biến nhất — nó nói S3 API và chạy trong Kubernetes với overhead tối thiểu.
Store Gateway — Đọc Dữ Liệu Từ Object Storage
Sau khi block đã nằm trong object storage, Store Gateway giúp chúng có thể truy vấn trở lại. Deploy nó như một Deployment riêng:
thanos store \
--data-dir=/var/thanos/store \
--grpc-address=0.0.0.0:10901 \
--http-address=0.0.0.0:10902 \
--objstore.config-file=/etc/thanos/objstore.yaml
Store Gateway tải các file index của block về local và stream dữ liệu metrics theo yêu cầu. Nó không load tất cả vào memory — mà fetch chunk theo kiểu lazy. Với bucket lớn chứa nhiều năm dữ liệu, hãy cấp cho nó một PVC dùng SSD để làm index cache. Thay đổi này đơn giản thôi nhưng đã giúp thời gian truy vấn của chúng tôi giảm từ 12 giây xuống dưới 2 giây với các truy vấn khoảng 6 tháng.
Querier — Endpoint Truy Vấn Duy Nhất Của Bạn
Đây là component người dùng tương tác trực tiếp. Nó hoạt động như một Prometheus-compatible API nhưng fan out truy vấn tới tất cả Sidecar và Store Gateway, rồi deduplicate kết quả:
thanos query \
--http-address=0.0.0.0:9090 \
--grpc-address=0.0.0.0:10901 \
--query.replica-label=prometheus_replica \
--store=thanos-sidecar-cluster-a:10901 \
--store=thanos-sidecar-cluster-b:10901 \
--store=thanos-store-gateway:10901
Trỏ Grafana vào cổng HTTP của Querier. Các dashboard của bạn giờ lấy dữ liệu từ nhiều cluster và từ object storage qua một URL duy nhất — không cần chuyển cluster, không cần quản lý nhiều data source riêng cho từng cluster.
Compactor — Quản Lý Object Storage Hiệu Quả
Nếu không có Compactor, object storage của bạn sẽ chứa hàng nghìn block 2 giờ nhỏ lẻ. Compactor gộp chúng thành các block lớn hơn (6h, 2d, rồi 2w) và áp dụng downsampling cho dữ liệu cũ hơn:
thanos compact \
--data-dir=/var/thanos/compact \
--objstore.config-file=/etc/thanos/objstore.yaml \
--retention.resolution-raw=30d \
--retention.resolution-5m=90d \
--retention.resolution-1h=1y \
--wait
Chạy component này như một Deployment với replica đơn — đừng bao giờ scale lên hơn 1, nó không hỗ trợ truy cập đồng thời vào cùng một bucket. Các flag retention ở trên giữ dữ liệu raw 30 ngày, downsample 5 phút trong 90 ngày và downsample 1 giờ trong cả năm. Truy vấn một năm dữ liệu ở độ phân giải 1h rất nhanh và tiết kiệm.
Nâng Cao — Federation Đa Cluster Ở Quy Mô Lớn
Service Discovery Với DNS SD
Hardcode địa chỉ Sidecar trong Querier ổn với hai cluster. Nhưng từ năm cluster trở lên, hãy dùng DNS-based service discovery. Tạo một headless Service cho các Sidecar, rồi trỏ Thanos vào tên DNS:
thanos query \
--store=dnssrv+_grpc._tcp.thanos-sidecar.monitoring.svc.cluster.local \
--store=thanos-store-gateway.monitoring.svc.cluster.local:10901
Để discovery cross-cluster, chạy một Thanos Querier mỗi cluster, rồi trỏ một Querier cấp trên vào tất cả chúng. Đó là pattern Query Frontend. Nó bổ sung thêm caching và query splitting:
thanos query-frontend \
--http-address=0.0.0.0:9090 \
--query-frontend.downstream-url=http://thanos-querier:9090 \
--query-range.split-interval=24h \
--query-range.max-retries-per-request=5 \
--cache-compression-type=snappy
Query Frontend chia nhỏ các truy vấn khoảng dài thành từng chunk 24 giờ và cache mỗi chunk độc lập. Một dashboard tải dữ liệu 30 ngày chuyển từ một truy vấn chậm thành 30 truy vấn song song có thể cache được.
Ruler — Alerting và Recording Rules Bao Phủ Nhiều Cluster
Một điều Prometheus không thể làm natively là đánh giá recording rule tham chiếu metrics từ hai cluster khác nhau. Thanos Ruler thì có thể:
apiVersion: v1
kind: ConfigMap
metadata:
name: thanos-ruler-rules
data:
rules.yaml: |
groups:
- name: cross-cluster
interval: 1m
rules:
- record: job:http_requests:rate5m
expr: sum(rate(http_requests_total[5m])) by (job, cluster)
Ruler truy vấn Querier — thứ nhìn thấy tất cả cluster cùng lúc — và ghi kết quả trở lại object storage dưới dạng TSDB block mới. Mỗi cluster vẫn hoàn toàn độc lập với nhau. Góc nhìn tổng thể nằm hoàn toàn trong Ruler.
Mẹo Thực Tiễn Từ Thực Tế
Gắn Nhãn Cluster — Mọi Thứ Phụ Thuộc Vào Điều Này
Thêm external label vào mỗi Prometheus instance. Nếu không có, deduplication sẽ bị hỏng và bạn sẽ thấy time series bị trùng trong các truy vấn:
global:
external_labels:
cluster: production-ap-northeast-1
region: ap-northeast-1
Những team bỏ qua external label sẽ mất nhiều ngày debug vì sao đồ thị request count hiển thị gấp đôi traffic thực tế. Tôi đã chứng kiến điều này xảy ra trong ba lần migrate cluster riêng biệt.
Theo Dõi Chi Phí Object Storage
Thanos upload mỗi block 2 giờ một lần. Với cluster scraping 100k time series ở interval 15 giây, bạn sẽ tốn khoảng 500MB mỗi ngày trước khi nén. Hãy bật compression ở tầng bucket — S3 không nén object theo mặc định. Ngoài ra hãy để ý số lần gọi LIST API. Store Gateway gọi chúng liên tục khi khởi động và trong quá trình truy vấn, mà các thao tác LIST trên S3 không miễn phí đâu.
Kiểm tra chi phí đơn giản: liệt kê cấu trúc bucket để xem block tích lũy như thế nào:
# Kiểm tra số lượng block hiện có và kích thước của chúng
aws s3 ls s3://my-thanos-metrics/ --recursive --human-readable | \
awk '{print $3, $4}' | \
tail -20
# Đếm tổng số block
aws s3 ls s3://my-thanos-metrics/ | wc -l
Tinh Chỉnh Cache Của Store Gateway
Cache index trong memory mặc định của Store Gateway là 250MB. Với bucket có nhiều hơn vài tháng dữ liệu, hãy tăng lên:
thanos store \
--index-cache-size=1GB \
--chunk-pool-size=2GB \
--store.grpc.series-max-concurrency=20
Ngoài ra, bạn có thể kết nối một Redis hoặc Memcached instance làm shared cache. Điều này tạo ra sự khác biệt rõ rệt khi nhiều kỹ sư cùng truy vấn một khoảng thời gian — nếu không có nó, mỗi pod sẽ độc lập fetch cùng một dữ liệu index từ object storage.
Giám Sát Chính Thanos
Thanos expose Prometheus metrics tại /metrics trên cổng HTTP của mỗi component. Các metrics bạn thực sự cần theo dõi:
thanos_compact_group_compactions_total— tình trạng hoạt động của compactionthanos_store_bucket_operations_total— tốc độ gọi object storage APIthanos_query_concurrent_gate_queries_in_flight— tải truy vấn trên Querierthanos_sidecar_prometheus_up— Sidecar có kết nối được tới Prometheus không (luôn phải là 1)
Kiểm tra nhanh xem block có đang được đẩy lên đúng cách không:
kubectl logs deployment/prometheus -c thanos-sidecar | grep -i "uploaded"
# Kết quả mong đợi:
# level=info msg="uploaded block" id=01HXYZ... duration=2.3s
Nếu log upload không xuất hiện mỗi 2 giờ, hãy kiểm tra cài đặt TSDB block duration trước, rồi xác minh lại credentials object storage của Sidecar.
Một khi vượt qua một cluster, hoặc khi yêu cầu retention kéo dài hơn vài tuần, Thanos không còn cảm giác như gánh nặng nữa. Thêm cluster mới? Thêm một Sidecar và một flag --store. Cần thêm throughput đọc? Thêm Store Gateway. Querier tự động fan out — bạn không cần động tới bất cứ thứ gì khác.

