Bối cảnh & Lý do: Bài toán nan giải khi alter bảng trên production
Việc chạy lệnh ALTER TABLE trên một bảng đang hoạt động với hàng chục triệu bản ghi có thể dễ dàng làm sập database production của bạn. Ngay cả khi sử dụng InnoDB Online DDL trên các phiên bản MySQL hiện đại, những thay đổi schema lớn vẫn kích hoạt metadata lock (MDL). Các lock này sẽ làm nghẽn connection pool của ứng dụng và khiến các replica bị trễ nghiêm trọng.
Vấn đề: Downtime ngoài kế hoạch và tình trạng trễ replication
Hãy xem xét một sự cố quen thuộc: đội ngũ kỹ thuật cần thêm một index và một cột JSON vào bảng orders có 150 triệu dòng. Một lập trình viên chạy lệnh DDL thông thường. Chỉ trong vòng 45 giây, connection pool của ứng dụng đã chạm ngưỡng tối đa 500 kết nối. Những truy vấn vốn chỉ mất 2 mili-giây để xử lý nay dồn ứ lại phía sau một exclusive metadata lock. Cùng lúc đó, các read replica bị trễ hơn 600 giây vì các cập nhật schema trên replica chỉ được thực thi thông qua một applier thread đơn lẻ.
Nguyên nhân gốc rễ: Trigger và tranh chấp lock
Trước đây, các quản trị viên cơ sở dữ liệu thường tìm đến các công cụ hoạt động dựa trên trigger như pt-online-schema-change. Mặc dù đáng tin cậy khi tải nhẹ, các trigger lại thực thi đồng bộ (synchronously) ngay bên trong transaction của người dùng. Mỗi câu lệnh INSERT, UPDATE hoặc DELETE buộc MySQL phải thực hiện thêm một lượt ghi trigger vào bảng shadow. Với tần suất trên 3.000 lượt ghi mỗi giây, overhead này sẽ gây ra tranh chấp lock, deadlock transaction và khiến độ trễ tăng vọt nghiêm trọng.
GitHub đã phát triển gh-ost (GitHub’s Online Schema Transmogrifier) để khắc phục những hạn chế kiến trúc này. Khác với các tiện ích dùng trigger, gh-ost không bao giờ can thiệp vào write path của transaction. Thay vào đó, nó đọc các thay đổi một cách bất đồng bộ từ MySQL binary log (binlog) tương tự như một replica bên ngoài. Công cụ này sao chép dữ liệu lịch sử theo từng batch có thể cấu hình linh hoạt và replay lại các sự kiện phát sinh trong thời gian thực mà không gây thêm overhead từ lock đồng bộ lên traffic production.
Trước khi thực hiện thay đổi schema trên production, hãy luôn kiểm thử migration trên tập dữ liệu mẫu tiêu biểu. Khi chuyển đổi dữ liệu test cục bộ hoặc convert file dump CSV sang fixture seed JSON, công cụ chuyển đổi CSV sang JSON của toolcraft.app chạy trực tiếp trong trình duyệt, đảm bảo không có dữ liệu nhạy cảm nào rời khỏi máy tính của bạn.
Cài đặt: Thiết lập gh-ost và phân quyền database
gh-ost được đóng gói dưới dạng file binary Go độc lập và hoàn toàn không có dependency bên ngoài, giúp việc cài đặt trở nên vô cùng đơn giản trên bất kỳ host triển khai hay bastion server nào.
Bước 1: Tải về và cài đặt file binary
Tải bản lưu trữ phát hành từ GitHub Releases và đưa file binary vào system path của bạn:
# Tải bản phát hành cho Linux
GH_OST_VERSION="v1.1.6"
curl -LO "https://github.com/github/gh-ost/releases/download/${GH_OST_VERSION}/gh-ost-binary-linux-amd64-${GH_OST_VERSION}.tar.gz"
# Giải nén và cài đặt binary
tar -xzf "gh-ost-binary-linux-amd64-${GH_OST_VERSION}.tar.gz"
sudo mv gh-ost /usr/local/bin/
sudo chmod +x /usr/local/bin/gh-ost
# Kiểm tra cài đặt
gh-ost --version
Bước 2: Yêu cầu tiên quyết trên MySQL và cấu hình binary log
Vì gh-ost đọc các thay đổi từ luồng replication, việc bật row-based replication là bắt buộc. Hãy đảm bảo file my.cnf hoặc parameter group trên AWS RDS của bạn đã kích hoạt các tùy chọn sau:
[mysqld]
server-id = 101
log-bin = mysql-bin
binlog_format = ROW
binlog_row_image = FULL
Bước 3: Cấp quyền truy cập database
Tạo một service user chuyên dụng cho gh-ost. Lưu ý rằng không giống như các công cụ migration trước đây, gh-ost không yêu cầu quyền TRIGGER:
CREATE USER 'ghost_ops'@'%' IDENTIFIED BY 'StrongGeneratedPassword123!';
-- Đọc stream sự kiện binary log và kiểm tra trạng thái replication
GRANT REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'ghost_ops'@'%';
-- Tạo bảng shadow và quản lý sao chép dữ liệu trên schema đích
GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, ALTER, LOCK TABLES
ON production_db.* TO 'ghost_ops'@'%';
-- Bắt buộc trên MySQL 8.0+ để ghi đè biến session
GRANT SYSTEM_VARIABLES_ADMIN ON *.* TO 'ghost_ops'@'%';
FLUSH PRIVILEGES;
Cấu hình: Các flag cho production và chiến lược điều tiết (throttling)
Quá trình migration an toàn cần cân bằng giữa ba yếu tố: logic chuyển đổi schema, tốc độ backfill dữ liệu và giới hạn replica lag động.
Chạy thử (Dry Run) và kiểm tra
Hãy luôn kiểm tra execution plan trước tiên. Việc chạy gh-ost mà không kèm cờ --execute cho phép công cụ xác thực row key, phát hiện các ràng buộc không được hỗ trợ và mô phỏng việc tạo bảng shadow một cách an toàn.
gh-ost \
--host=db-primary.internal.local \
--user=ghost_ops \
--password='StrongGeneratedPassword123!' \
--database="production_db" \
--table="orders" \
--alter="ADD COLUMN tracking_code VARCHAR(64) NULL, ADD INDEX idx_orders_tracking (tracking_code)" \
--verbose
gh-ost sẽ kiểm tra cấu trúc primary key và cảnh báo nếu có ràng buộc foreign key tồn tại. Nó ước tính tổng thời gian chạy và kết thúc một cách an toàn mà không làm thay đổi dữ liệu thực tế.
Thực thi với cơ chế điều tiết nhận biết replication
Khi chạy trên các cụm có nhiều replica, tiến trình migration phải tự động giảm tải khi database bị quá tải. Lệnh sau giới hạn độ trễ replica ở mức 1,2 giây đồng thời theo dõi mức độ đồng thời (concurrency) của database:
gh-ost \
--host=db-primary.internal.local \
--user=ghost_ops \
--password='StrongGeneratedPassword123!' \
--database="production_db" \
--table="orders" \
--alter="ADD COLUMN tracking_code VARCHAR(64) NULL, ADD INDEX idx_orders_tracking (tracking_code)" \
--chunk-size=1500 \
--max-lag-millis=1200 \
--throttle-control-replicas="db-replica-01.internal.local,db-replica-02.internal.local" \
--throttle-query="SELECT VARIABLE_VALUE FROM performance_schema.global_status WHERE VARIABLE_NAME='Threads_running' AND CAST(VARIABLE_VALUE AS UNSIGNED) > 40" \
--serve-socket-file="/tmp/gh-ost.orders.sock" \
--panic-flag-file="/tmp/ghost.panic.flag" \
--initially-drop-ghost-table \
--cut-over=atomic \
--execute
Giải thích các tùy chọn cấu hình quan trọng
--chunk-size=1500: Sao chép dữ liệu theo từng phân đoạn 1.500 dòng. Hãy giảm giá trị này xuống 500 trên các bảng có tần suất ghi cao để giảm thiểu thời gian giữ row-level lock.--max-lag-millis=1200: Tạm dừng sao chép chunk bất cứ khi nào replication lag vượt quá 1.200 ms trên bất kỳ replica mục tiêu nào.--throttle-query: Tạm dừng backfill nếu truy vấn trả về bất kỳ dòng kết quả nào. Ở đây, tiến trình sẽ tạm dừng khi số worker thread đang hoạt động vượt quá 40.--serve-socket-file: Lắng nghe trên một Unix socket, cho phép người vận hành kiểm tra hoặc tinh chỉnh cấu hình migration trong thời gian thực.--cut-over=atomic: Sử dụng cơ chế hoán đổi hai bảng có khóa (RENAME TABLE orders TO _orders_del, _orders_gho TO orders) để không có transaction nào bị mất trong quá trình cut-over.
Xác thực & Giám sát: Đảm bảo tiến trình migration luôn trong tầm kiểm soát
Không bao giờ để các tác vụ thay đổi schema kéo dài chạy mà không có sự giám sát. Người vận hành cần nắm bắt trực tiếp tốc độ copy chunk, trạng thái throttling và thời điểm thực hiện cut-over.
Điều khiển động qua Unix Socket
Nhờ chỉ định tham số --serve-socket-file, bạn có thể điều chỉnh hành vi của tiến trình migration ngay khi đang chạy bằng các tiện ích Unix tiêu chuẩn như nc (Netcat):
# Kiểm tra tiến độ migration và ETA hiện tại
echo "status" | nc -U /tmp/gh-ost.orders.sock
# Giảm chunk size trong khung giờ cao điểm của ứng dụng
echo "chunk-size=500" | nc -U /tmp/gh-ost.orders.sock
# Tạm dừng hoàn toàn giai đoạn sao chép dữ liệu khi batch thanh toán lớn đang chạy
echo "throttle" | nc -U /tmp/gh-ost.orders.sock
# Tiếp tục backfill khi lưu lượng truy cập đã hạ nhiệt
echo "no-throttle" | nc -U /tmp/gh-ost.orders.sock
Giám sát độ trễ và log heartbeat
Trong suốt giai đoạn migration, gh-ost sẽ xuất các snapshot tiến độ trực tiếp ra standard output:
Copy: 42,150,000/152,000,000 27.7%; ETA: 3h12m; State: migrating; Current lag: 180ms; Replica lag: 210ms
Copy: 42,151,500/152,000,000 27.7%; ETA: 3h11m; State: throttled (replica db-replica-01 lag: 1350ms > 1200ms)
Copy: 42,151,500/152,000,000 27.7%; ETA: 3h14m; State: migrating; Current lag: 140ms; Replica lag: 320ms
Khi độ trễ trên db-replica-01 tăng vọt lên 1.350 ms, gh-ost đã tự động tạm dừng hoạt động sao chép các dòng dữ liệu. Khi độ trễ giảm xuống dưới 1.200 ms, quá trình sao chép được tiếp tục một cách mượt mà.
Xác thực quá trình Atomic Cut-Over
Khi quá trình backfill đạt 100%, gh-ost sẽ flush toàn bộ sự kiện binlog còn lại, hoán đổi bảng một cách nguyên tử (atomic) và hoàn tất migration:
-- Kiểm tra cấu trúc bảng đã cập nhật trên primary instance
SHOW CREATE TABLE production_db.orders\G
-- Xác nhận việc tạo index và cardinality
SHOW INDEX FROM production_db.orders WHERE Column_name = 'tracking_code';
Theo mặc định, gh-ost giữ lại bảng gốc dưới tên _orders_del. Điều này mang lại phương án fallback tức thì nếu ứng dụng của bạn gặp phải các vấn đề không tương thích truy vấn ngoài dự kiến. Sau khi xác minh hiệu năng truy vấn trong chu kỳ 24 giờ, hãy drop bảng còn sót lại này vào khung giờ thấp điểm:
DROP TABLE IF EXISTS production_db._orders_del;
Cơ chế migration dựa trên binlog giúp việc thay đổi các bảng dung lượng hàng chục gigabyte trở nên an toàn và có thể dự đoán được. Với khả năng tùy chỉnh chunk size, chủ động giám sát replica lag và điều chỉnh linh hoạt qua socket, bạn có thể triển khai các bản cập nhật schema mà không phải lo lắng về rủi ro timeout ứng dụng hay sự cố sập replica.

