Ngừng “Cưng nựng” các Script Rsync của Bạn
Quản lý nhiều hơn hai server thường dẫn đến một loại áp lực cụ thể: giữ cho các tệp cấu hình, log hoặc dữ liệu người dùng tải lên luôn đồng bộ. Tôi từng quản lý một hệ thống với node chính tại Singapore và node dự phòng tại Frankfurt. Mỗi khi người dùng tải lên một ảnh đại diện 5MB, tôi phải đảm bảo nó được sao lưu sang phía bên kia thế giới ngay lập tức. Giải pháp đầu tiên của tôi là một script rsync cơ bản được kích hoạt bởi cron job mỗi năm phút.
Khoảng thời gian năm phút đó là một thảm họa. Trong những đợt truy cập cao điểm, các tệp thường bị thiếu khi node phụ tiếp quản, dẫn đến lỗi 404 cho hình ảnh và khiến người dùng khó chịu. Ngoài sự chậm trễ, tôi còn phải thay đổi SSH key thủ công mỗi khi mở rộng cluster. Đó không phải là một hệ thống; đó là một quả bom hẹn giờ.
Tại sao Chiến lược Đồng bộ Hiện tại của Bạn có thể dễ Gãy đổ
Các phương pháp thủ công thường thất bại vì ba lý do cụ thể:
- Khoảng cách Độ trễ: Cron job không hoạt động theo thời gian thực. Ngay cả khoảng thời gian 60 giây cũng để lại lỗ hổng lớn cho việc không nhất quán dữ liệu khi xảy ra failover.
- Điểm yếu Tập trung (Single Point of Failure): Sử dụng một server ‘master’ tạo ra nút thắt cổ chai. Nếu node trung tâm đó ngoại tuyến, toàn bộ quy trình đồng bộ hóa của bạn sẽ bị đóng băng.
- Áp lực Firewall: Chạy rsync hoặc scp giữa các trung tâm dữ liệu yêu cầu mở các cổng cụ thể và quản lý các tệp
known_hostsrắc rối. Đây là một gánh nặng bảo trì khó có thể mở rộng.
Các nhà cung cấp cloud công cộng như Dropbox hoặc Google Drive không phù hợp cho các server production. Chúng rất đắt đỏ khi bạn chạm mốc 1TB và buộc bạn phải từ bỏ quyền riêng tư dữ liệu. Là kỹ sư, chúng ta cần một công cụ nằm trong phạm vi kiểm soát của chính mình.
Các Ứng cử viên: Công cụ nào Thực sự Hiệu quả?
Tôi đã thử nghiệm nhiều lựa chọn phổ biến trước khi chọn ra người chiến thắng:
1. rsync + lsyncd
lsyncd theo dõi các sự kiện của hệ thống tệp và kích hoạt rsync. Nó giải quyết được độ trễ của cron, nhưng vẫn chỉ là đường một chiều. Cố gắng thiết lập đồng bộ hai chiều với rsync là công thức dẫn đến kịch bản ‘split-brain’, nơi dữ liệu của bạn có thể bị xóa nhầm.
2. Nextcloud
Nextcloud rất tuyệt vời để chia sẻ tài liệu văn phòng. Tuy nhiên, để đồng bộ /var/www/uploads/ giữa các server, nó quá cồng kềnh. Nó yêu cầu một web stack đầy đủ và cơ sở dữ liệu, vốn có thể dễ dàng ngốn 512MB RAM trên một VPS nhỏ chỉ để chạy nền.
3. Resilio Sync
Trước đây là BitTorrent Sync, công cụ này nhanh và xử lý NAT traversal rất chuyên nghiệp. Điểm trừ? Nó là mã nguồn đóng. Tôi thích những công cụ mà mình có thể kiểm tra (audit), đặc biệt là khi chúng xử lý các tệp cấu hình nhạy cảm của tôi.
4. Syncthing
Syncthing là một “cỗ máy” ngang hàng (peer-to-peer) mã nguồn mở. Không có server trung tâm nào để bị sập. Vì được viết bằng Go, nó rất nhẹ và xử lý hàng nghìn tệp nhỏ mà không gặp khó khăn gì. Mọi thứ đều được mã hóa qua TLS, vì vậy dữ liệu của bạn luôn riêng tư ngay cả trên môi trường internet công cộng.
Quy trình: Triển khai Syncthing trên Linux
Sau khi quản lý hơn 15 thực thể VPS trong vài năm qua, tôi đã tinh chỉnh cách triển khai này. Chúng ta sẽ sử dụng Ubuntu/Debian cho ví dụ này, nhưng logic này vẫn áp dụng được cho bất kỳ bản phân phối hiện đại nào.
Bước 1: Lấy Repository Chính thức
Đừng sử dụng phiên bản trong repo mặc định của Ubuntu; nó thường bị lỗi thời hàng tháng trời. Hãy lấy bản build ổn định mới nhất trực tiếp.
# Thêm release PGP keys:
sudo mkdir -p /etc/apt/keyrings
sudo curl -L -o /etc/apt/keyrings/syncthing-archive-keyring.gpg https://syncthing.net/release-key.gpg
# Thêm channel "stable" vào APT sources của bạn:
echo "deb [signed-by=/etc/apt/keyrings/syncthing-archive-keyring.gpg] https://apt.syncthing.net/ syncthing stable" | sudo tee /etc/apt/sources.list.d/syncthing.list
# Cập nhật và cài đặt
sudo apt update && sudo apt install syncthingBước 2: Tự động hóa với Systemd
Syncthing nên được khởi động ngay khi server của bạn boot. Chúng ta sẽ chạy nó dưới một tài khoản người dùng tiêu chuẩn—không bao giờ là root—để hạn chế phạm vi ảnh hưởng nếu chẳng may có lỗ hổng bảo mật.
# Thay thế 'webadmin' bằng user Linux của bạn
sudo systemctl enable [email protected]
sudo systemctl start [email protected]Bước 3: Truy cập Từ xa Bảo mật
Giao diện người dùng (GUI) lắng nghe trên cổng 8384 nhưng chỉ trên localhost. Mở cổng này ra internet công cộng là một rủi đi cực lớn. Hãy sử dụng SSH tunnel để truy cập nó một cách an toàn từ laptop của bạn.
# Chạy lệnh này trên máy cục bộ của bạn
ssh -L 9999:127.0.0.1:8384 webadmin@your-server-ipTruy cập http://localhost:9999 trong trình duyệt của bạn. Nhiệm vụ đầu tiên là đặt một mật khẩu mạnh trong Settings > GUI. Đừng bỏ qua bước này.
Bước 4: Tạo mạng lưới (Mesh)
Mỗi thực thể Syncthing có một Device ID duy nhất. Tìm ID của bạn tại Actions > Show ID. Trao đổi các ID này giữa Server A và Server B để ghép nối chúng. Syncthing sẽ tự xuyên qua NAT và tìm lộ trình nhanh nhất giữa chúng, thường đạt tốc độ 50-100MB/s trên đường truyền gigabit.
Bước 5: Quy tắc Firewall
Các node của bạn cần “nói chuyện” với nhau. Hãy mở các cổng đồng bộ và khám phá trong UFW:
sudo ufw allow 22000/tcp
sudo ufw allow 21027/udpTối ưu Bảo mật cho Môi trường Production
Các thiết lập cơ bản chỉ dành cho thử nghiệm. Trong môi trường production, hãy sử dụng tệp .stignore để bỏ qua các tệp tạm thời như .DS_Store hoặc node_modules. Điều này giúp tiết kiệm băng thông và ngăn ngừa xung đột đồng bộ.
Bật tính năng “Staggered Versioning” trong cài đặt thư mục. Tôi thường giữ các tệp đã xóa trong 30 ngày. Điều này đã cứu tôi một lần khi một script dọn dẹp bị lỗi xóa mất 200GB media; tôi chỉ cần lấy lại mọi thứ từ thư mục .stversions trên node đối tác. Syncthing không chỉ là một công cụ đồng bộ; nó là một lưới an toàn cho kiến trúc dữ liệu của bạn.
