Deploy Dragonfly trên Kubernetes: Phân phối Docker Image P2P giúp giảm 80% thời gian Pull

DevOps tutorial - IT technology blog
DevOps tutorial - IT technology blog

Vấn đề: Image Pull Storm khi Cluster Lớn Dần

Khi vận hành Kubernetes cluster ở quy mô lớn, bạn sẽ sớm đụng phải một bức tường quen thuộc: image pull storm. Bạn push một image tag mới, kích hoạt rolling update, và đột nhiên 40 node cùng nhau tấn công container registry. Registry quá tải, các node timeout trong lúc chờ tải layer, và một deployment lẽ ra chỉ mất 5 phút biến thành màn chữa cháy kéo dài 25 phút.

Các giải pháp vá víu thông thường — tăng số replica cho registry, nâng cấu hình máy chủ, trả tiền cho gói artifact registry cao cấp hơn — cũng có tác dụng, nhưng tốn kém và không giải quyết được nguyên nhân gốc rễ. Mỗi node vẫn tự kéo cùng một layer từ cùng một nguồn. Đây là mô hình lãng phí về bản chất và càng tệ hơn khi cluster lớn dần.

Dragonfly giải quyết điều này ở tầng giao thức. Thay vì N node mỗi cái kéo một layer 500MB từ registry của bạn, một node kéo về rồi các node còn lại lấy từ nhau qua P2P. Khi registry phục vụ xong node đầu tiên, mọi node khác đã có dữ liệu rồi.

Cách Dragonfly Hoạt Động: Các Khái Niệm Cốt Lõi

Dragonfly được xây dựng bên trong Alibaba, dành cho các hệ thống triển khai lên đến hàng chục nghìn node. Hiện nay nó là dự án incubating của CNCF. Cách tiếp cận P2P cho phép các node phối hợp để phân phối image layer — hãy hình dung BitTorrent áp dụng cho Kubernetes cluster của bạn.

Các Thành Phần Chính

  • Manager: Control plane. Lưu trữ thông tin peer, quản lý việc khám phá scheduler, và xử lý cấu hình động cho toàn cluster.
  • Scheduler: Bộ não của mạng P2P. Khi một node cần một layer, Scheduler xác định peer nào đã có nó (toàn bộ hoặc một phần) rồi xây dựng đồ thị peer tối ưu.
  • Seed Peer: Tải layer từ registry của bạn một lần duy nhất, sau đó trở thành seeder ban đầu cho phần còn lại của cluster. Nên chạy ít nhất hai bản để dự phòng.
  • Dfdaemon (Client): Chạy dưới dạng DaemonSet trên mỗi node. Chặn các lần kéo layer của container runtime, chuyển hướng qua mạng P2P, và seed dữ liệu cho các node khác khi đã có.

Luồng Kéo Image

Node của bạn muốn kéo nginx:1.27. Dfdaemon chặn request đó, hỏi Scheduler, và thay vì kéo trực tiếp từ Docker Hub, nó kéo các chunk từ 3–5 peer đã tải layer đó rồi. Registry chỉ phục vụ dữ liệu một lần duy nhất — cho seed peer đầu tiên.

Điều khiến tôi bất ngờ lúc đầu: Dragonfly không thay thế registry của bạn và không yêu cầu bất kỳ thay đổi nào với image. Nó hoạt động như một transparent proxy ở tầng container runtime. CI pipeline, image reference, và deployment manifest hiện tại không cần thay đổi gì cả.

Deploy Dragonfly trên Kubernetes

Yêu Cầu Trước Khi Bắt Đầu

  • Kubernetes 1.20+ cluster
  • Helm 3 đã cài đặt
  • containerd làm container runtime (phổ biến nhất sau khi Docker bị deprecated)
  • kubectl đã cấu hình với quyền truy cập cluster

Bước 1: Cài Đặt bằng Helm

helm repo add dragonfly https://dragonflyoss.github.io/helm-charts/
helm repo update

helm install --create-namespace --namespace dragonfly-system \
  dragonfly dragonfly/dragonfly \
  --set seedPeer.enable=true \
  --set seedPeer.replicas=2 \
  --set scheduler.replicas=2 \
  --set manager.replicas=2

Chờ tất cả pod khởi động:

kubectl -n dragonfly-system get pods -w

Bạn sẽ thấy các pod Manager, Scheduler, Seed Peer, và Client (DaemonSet) đều đang chạy. DaemonSet Client triển khai một pod trên mỗi node — đó là proxy dfdaemon chạy cục bộ trên từng worker.

Bước 2: Cấu Hình containerd Proxy Qua Dragonfly

Đây là bước mà hầu hết các hướng dẫn hay bỏ qua, nhưng đây lại là phần quan trọng nhất. Bạn cần yêu cầu containerd chuyển các lần kéo image qua proxy dfdaemon cục bộ thay vì kết nối trực tiếp đến registry. Dfdaemon lắng nghe trên cổng 65001 theo mặc định.

Tạo cấu hình mirror cho containerd trên từng node:

# Cấu hình mirror cho Docker Hub
mkdir -p /etc/containerd/certs.d/docker.io

cat > /etc/containerd/certs.d/docker.io/hosts.toml <<EOF
server = "https://registry-1.docker.io"

[host."http://127.0.0.1:65001"]
  capabilities = ["pull", "resolve"]
  skip_verify = true
  override_path = true
EOF

Với private registry, lặp lại cấu trúc tương tự:

# Với private registry tại registry.example.com
mkdir -p /etc/containerd/certs.d/registry.example.com

cat > /etc/containerd/certs.d/registry.example.com/hosts.toml <<EOF
server = "https://registry.example.com"

[host."http://127.0.0.1:65001"]
  capabilities = ["pull", "resolve"]
  skip_verify = true
  override_path = true
EOF

systemctl restart containerd

Nếu bạn quản lý node qua cloud provider node group hoặc Ansible, hãy tự động hóa bước này trên tất cả worker trước khi kiểm thử.

Bước 3: Xác Nhận Phân Phối P2P Đang Hoạt Động

Buộc kéo image bằng một test pod:

kubectl run test-pull --image=nginx:1.27 --restart=Never
kubectl get pod test-pull -w

Sau đó kiểm tra log dfdaemon trên node mà pod được lên lịch chạy:

NODE=$(kubectl get pod test-pull -o jsonpath='{.spec.nodeName}')
DAEMON_POD=$(kubectl -n dragonfly-system get pod -o wide \
  | grep "$NODE" | grep client | awk '{print $1}')
kubectl -n dragonfly-system logs $DAEMON_POD | grep -i "p2p\|peer\|task"

Tìm các dòng log cho thấy layer được kéo từ P2P peer thay vì trực tiếp từ registry. Trên các node tiếp theo kéo cùng image đó, thời gian pull giảm đáng kể — thường nhanh hơn 5–10 lần khi seed peer đã cache dữ liệu.

Bước 4: Giám Sát bằng Dragonfly Console

Dragonfly Manager đi kèm với một web console. Port-forward để truy cập:

kubectl -n dragonfly-system port-forward svc/dragonfly-manager 8080:8080

Truy cập http://localhost:8080. Các task đang hoạt động, số lượng peer, và biểu đồ traffic thời gian thực cho bạn cái nhìn trực quan về những gì đang chạy qua mạng P2P — đáng tin cậy hơn nhiều so với việc phải đoán xem registry còn chịu tải hay không.

Kinh Nghiệm Thực Tế Từ Production

Tôi đã chạy hệ thống này trên nhiều production cluster và nó hoạt động ổn định — nhưng có một vài điểm cần lưu ý nếu bạn không muốn gặp rắc rối.

Đặt Resource Limit cho Dfdaemon DaemonSet

Client daemon chạy trên mỗi node, nên mức sử dụng bộ nhớ không giới hạn có thể gây sự cố trên các node tài nguyên hạn chế. Thêm các giới hạn sau vào Helm values của bạn:

client:
  resources:
    limits:
      cpu: "500m"
      memory: "512Mi"
    requests:
      cpu: "100m"
      memory: "128Mi"

Luôn Chạy Hai Replica Seed Peer

Nếu seed peer pod duy nhất của bạn restart giữa chừng một deployment, các node sẽ fallback về kéo trực tiếp từ registry — điều này an toàn, nhưng bạn mất đi lợi ích tiết kiệm băng thông cho đợt rollout đó. Hai replica giúp mọi thứ diễn ra suôn sẻ khi pod bị gián đoạn.

Kiểm Tra Allowlist Registry trong Cấu Hình Dfdaemon

Các phiên bản Dragonfly mới hơn có danh sách lọc những registry nào được proxy. Hãy xác nhận hostname của private registry đã nằm trong danh sách, nếu không các lần kéo image sẽ bỏ qua hoàn toàn mạng P2P:

kubectl -n dragonfly-system get configmap dragonfly-client -o yaml \
  | grep -A 20 "proxy"

Điều Chỉnh Số Lượng Kết Nối Peer cho Cluster Lớn

Số lượng kết nối peer mặc định hoạt động tốt với khoảng 50 node. Với cluster lớn hơn, hãy điều chỉnh giới hạn concurrent task của scheduler để cho phép nhiều kết nối đồng thời hơn trên mỗi phần dữ liệu:

scheduler:
  config:
    scheduler:
      peerTaskTTL: 24h
      retryBackToSourceLimit: 3

Lợi Ích Thực Sự Bạn Nhận Được

Dragonfly biến các Kubernetes node của bạn từ N registry client độc lập thành một mạng phân phối hợp tác. Deployment đầu tiên sau khi bật tính năng này sẽ cho bạn thấy ngay lượng băng thông bạn đã lãng phí bấy lâu. Trên các cluster có 30+ node, tôi đo được mức giảm 70–80% egress từ registry một cách nhất quán. Thời gian deployment trước đây mất 15–20 phút giảm xuống dưới 60 giây với hầu hết kích thước image.

Chi phí thiết lập rất thấp: một vài pod control-plane và một pod DaemonSet trên mỗi node. Cấu hình containerd mirror là thay đổi duy nhất cần thực hiện trên từng node — một Ansible play đơn giản hoặc cloud-init snippet là đủ để xử lý toàn bộ worker. Khi cả hai phần đã sẵn sàng, mọi lần kéo image — trên tất cả registry bạn đã cấu hình — đều tự động đi qua mạng P2P mà không cần tinh chỉnh thêm gì.

Với bất kỳ ai đang vận hành Kubernetes ở quy mô lớn với deployment thường xuyên, base image nặng, hoặc băng thông registry hạn chế, Dragonfly xứng đáng với công sức bỏ ra ngay từ sớm.

Share: