Triển khai TiDB trên Docker: Xây dựng Cơ sở dữ liệu NewSQL Phân tán với Kiến trúc HTAP

Database tutorial - IT technology blog
Database tutorial - IT technology blog

Vấn đề Khi Chạy Analytics Song Song với Giao dịch

Bạn đang có một cơ sở dữ liệu MySQL hoặc PostgreSQL production đang chạy ổn định cho workload giao dịch. Rồi một product manager yêu cầu một dashboard doanh số thời gian thực. Bạn thiết lập một read replica. Replica bị lag. Dashboard hiển thị dữ liệu cũ. Bạn thử chạy truy vấn analytical trực tiếp trên primary — nó khóa bảng, CPU tăng vọt, và ứng dụng bắt đầu trả về lỗi 500.

Giải pháp tiêu chuẩn là xây dựng một data pipeline: Kafka, Flink, một kho dữ liệu riêng biệt, thêm một thứ phải bảo trì, thêm một điểm có thể sập lúc 2 giờ sáng. Với hầu hết các team, hạ tầng đó quá tốn kém so với vấn đề thực tế.

TiDB giải quyết vấn đề này ngay tại tầng cơ sở dữ liệu. Chạy OLTP và OLAP từ cùng một cluster đồng thời — không ETL, không replication lag, không hệ thống riêng biệt nào cần phải trông coi. PingCAP gọi đây là HTAP: Hybrid Transactional/Analytical Processing.

Điều Khiến TiDB Khác Biệt: Kiến trúc Cốt lõi

Trước khi viết bất kỳ dòng config Compose nào, hãy hiểu những gì bạn thực sự đang khởi động. TiDB không phải là một wrapper của MySQL — đó là một hệ thống phân tán đầy đủ với bốn thành phần riêng biệt, mỗi thành phần đảm nhiệm một công việc cụ thể.

TiDB (Tầng SQL)

Thiết kế stateless. Mỗi node TiDB chấp nhận kết nối MySQL-protocol, phân tích cú pháp SQL, xây dựng execution plan, rồi chuyển giao các thao tác lưu trữ cho TiKV hoặc TiFlash. Xếp nhiều node phía sau một load balancer và bạn có được khả năng mở rộng SQL theo chiều ngang — không có shared state nào cần điều phối giữa các node.

TiKV (Lưu trữ theo Hàng)

Dữ liệu thực tế của bạn được lưu ở đây. TiKV chia các hàng thành Region — mỗi chunk 96MB theo mặc định — và duy trì ba bản sao Raft của mỗi Region phân tán trên các node. Đây là engine OLTP của bạn: point lookup, giao dịch ngắn, cập nhật theo hàng.

TiFlash (Lưu trữ theo Cột)

Hãy nghĩ về TiFlash như một bản sao columnar luôn cập nhật của dữ liệu hàng. Khi query planner phát hiện một truy vấn analytical — full scan, aggregation nặng, GROUP BY trên hàng triệu hàng — nó tự động định tuyến đến TiFlash. Row store xử lý ghi; column store xử lý analytics. Đồng bộ hóa diễn ra qua Raft learner replication, thường với độ trễ dưới một giây.

PD (Placement Driver)

Bộ não của toàn bộ hệ thống. PD lưu trữ metadata cluster, cấp timestamp cho MVCC isolation, và điều chuyển Region giữa các node TiKV để cân bằng tải. Mọi giao dịch — đọc hay ghi — đều phải qua PD trước để lấy timestamp từ TSO (Timestamp Oracle).

Triển khai TiDB với Docker Compose

Có hai lựa chọn để thiết lập cục bộ: TiUP Playground (đơn giản hơn) hoặc tự viết Compose file (kiểm soát nhiều hơn). Chúng ta sẽ dùng Compose với image chính thức của PingCAP — topology đủ gần với production để những gì học được ở đây có thể áp dụng trực tiếp.

Yêu cầu Chuẩn bị

  • Docker Engine 20.10+ và Docker Compose v2
  • Ít nhất 8GB RAM cho cluster cơ bản; cần 10GB+ khi thêm TiFlash sau này
  • Các cổng 4000 (TiDB SQL), 2379 (PD), 20160 (TiKV) chưa được sử dụng trên máy host

Bước 1: Tạo File Docker Compose

mkdir tidb-docker && cd tidb-docker
# docker-compose.yml
version: "3.8"

services:
  pd:
    image: pingcap/pd:v7.5.0
    ports:
      - "2379:2379"
      - "2380:2380"
    volumes:
      - pd_data:/data
    command:
      - --name=pd
      - --data-dir=/data
      - --client-urls=http://0.0.0.0:2379
      - --advertise-client-urls=http://pd:2379
      - --peer-urls=http://0.0.0.0:2380
      - --advertise-peer-urls=http://pd:2380
      - --initial-cluster=pd=http://pd:2380
    networks:
      - tidb_net

  tikv:
    image: pingcap/tikv:v7.5.0
    volumes:
      - tikv_data:/data
    command:
      - --addr=0.0.0.0:20160
      - --advertise-addr=tikv:20160
      - --data-dir=/data
      - --pd=pd:2379
    depends_on:
      - pd
    networks:
      - tidb_net

  tidb:
    image: pingcap/tidb:v7.5.0
    ports:
      - "4000:4000"
      - "10080:10080"
    command:
      - --store=tikv
      - --path=pd:2379
      - --log-level=warn
    depends_on:
      - tikv
    networks:
      - tidb_net

volumes:
  pd_data:
  tikv_data:

networks:
  tidb_net:

Bước 2: Khởi động Cluster

docker compose up -d

# Theo dõi quá trình khởi động — TiKV mất ~20 giây để đăng ký với PD
docker compose logs -f tidb

Chờ cho đến khi bạn thấy server is running MySQL protocol trong log của TiDB trước khi kết nối.

Bước 3: Kết nối và Xác minh

# Kết nối với bất kỳ MySQL client nào (mặc định root không có mật khẩu)
mysql -h 127.0.0.1 -P 4000 -u root

# Trong phiên MySQL:
SELECT tidb_version()\G
SHOW DATABASES;
-- Kiểm tra sức khỏe cluster
SELECT * FROM information_schema.cluster_info;

Kiểm thử HTAP: OLTP và OLAP trên Cùng một Dữ liệu

Giá trị thực sự hiện ra khi bạn thực sự stress cả hai đường dẫn. Trước tiên, hãy tạo một bảng và nạp dữ liệu vào.

CREATE DATABASE shop;
USE shop;

CREATE TABLE orders (
  id BIGINT PRIMARY KEY AUTO_RANDOM,
  customer_id INT NOT NULL,
  product_id INT NOT NULL,
  amount DECIMAL(10,2) NOT NULL,
  status VARCHAR(20) DEFAULT 'pending',
  created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  INDEX idx_customer (customer_id),
  INDEX idx_created (created_at)
);
-- Chèn 500k hàng để kiểm thử (mất ~1 phút trên máy developer thông thường)
INSERT INTO orders (customer_id, product_id, amount, status)
SELECT
  FLOOR(RAND() * 10000),
  FLOOR(RAND() * 500),
  ROUND(RAND() * 490 + 10, 2),
  ELT(FLOOR(RAND() * 3) + 1, 'pending', 'completed', 'cancelled')
FROM
  (SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5
   UNION SELECT 6 UNION SELECT 7 UNION SELECT 8 UNION SELECT 9 UNION SELECT 10) a
CROSS JOIN
  (SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5
   UNION SELECT 6 UNION SELECT 7 UNION SELECT 8 UNION SELECT 9 UNION SELECT 10) b
CROSS JOIN
  (SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5
   UNION SELECT 6 UNION SELECT 7 UNION SELECT 8 UNION SELECT 9 UNION SELECT 10) c
CROSS JOIN
  (SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5
   UNION SELECT 6 UNION SELECT 7 UNION SELECT 8 UNION SELECT 9 UNION SELECT 10) d
CROSS JOIN
  (SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5
   UNION SELECT 6 UNION SELECT 7 UNION SELECT 8 UNION SELECT 9 UNION SELECT 10) e
CROSS JOIN
  (SELECT 1 UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5) f
LIMIT 500000;

Hiện tại mọi truy vấn đều truy cập TiKV row storage. Để đưa columnar engine vào hoạt động, thêm một TiFlash node vào Compose file và bật columnar replication cho bảng.

# Thêm vào docker-compose.yml trong phần services:
  tiflash:
    image: pingcap/tiflash:v7.5.0
    volumes:
      - tiflash_data:/data
    environment:
      - SERVICE_ADDR=tiflash
    command:
      - --config=/tiflash.toml
    # Config TiFlash thường được truyền qua một config file được mount vào
    depends_on:
      - pd
      - tikv
    networks:
      - tidb_net
-- Sau khi TiFlash node đăng ký, bật columnar replica
ALTER TABLE orders SET TIFLASH REPLICA 1;

-- Theo dõi tiến trình đồng bộ
SELECT TABLE_NAME, REPLICA_COUNT, AVAILABLE, PROGRESS
FROM information_schema.tiflash_replica
WHERE TABLE_SCHEMA = 'shop';

Khi PROGRESS = 1.0, optimizer sẽ tự động định tuyến các truy vấn aggregation đến TiFlash trong khi point lookup vẫn truy cập TiKV.

-- Truy vấn này được định tuyến đến TiFlash (full scan + aggregation)
SELECT
  status,
  COUNT(*) as count,
  SUM(amount) as revenue,
  AVG(amount) as avg_order
FROM orders
GROUP BY status;

-- Xác minh với EXPLAIN
EXPLAIN SELECT status, COUNT(*), SUM(amount) FROM orders GROUP BY status;
-- Tìm "ExchangeSender" và "TableFullScan" trên cop[tiflash] trong plan

Mẹo Thực Tiễn Khi Làm Việc với TiDB

Migration Schema Tương thích với MySQL

TiDB hỗ trợ DDL online — ALTER TABLE ADD COLUMN không chặn các thao tác đọc hay ghi. Đang migrate từ MySQL? Các công cụ như Flyway, Liquibase và golang-migrate hoạt động mà không cần thay đổi gì. Các driver ứng dụng hiện có của bạn — pymysql, mysql-connector-java, go-sql-driver — kết nối mà không cần chỉnh sửa.

Dùng AUTO_RANDOM thay vì AUTO_INCREMENT

Thói quen từ MySQL dễ gây nhầm lẫn ở đây. Dùng AUTO_INCREMENT trên primary key khiến tất cả các lệnh insert đều dồn vào cùng một Region (Region lưu trữ key cao nhất), tạo ra write hotspot. Hãy dùng AUTO_RANDOM thay thế — nó phân tán các insert trên nhiều Region bằng cách ngẫu nhiên hóa các bit cao của ID được tạo ra.

-- Dễ gây hotspot (tránh dùng cho bảng có lượng write lớn)
CREATE TABLE events (id BIGINT AUTO_INCREMENT PRIMARY KEY, ...);

-- Phân tán write trên nhiều Region
CREATE TABLE events (id BIGINT AUTO_RANDOM PRIMARY KEY, ...);

Quy trình Import Dữ liệu

Khi tôi cần chuyển đổi nhanh CSV sang JSON để import dữ liệu, tôi dùng toolcraft.app/vi/tools/data/csv-to-json — nó chạy hoàn toàn trên trình duyệt nên không có dữ liệu nào rời khỏi máy của bạn. Điều này quan trọng khi CSV chứa thông tin khách hàng. Sau khi chuyển đổi, LOAD DATA LOCAL INFILE của TiDB hoặc công cụ tidb-lightning xử lý việc import hàng loạt một cách hiệu quả.

Theo dõi Qua Dashboard Tích hợp Sẵn

TiDB đi kèm một web dashboard tại http://localhost:2379/dashboard (do PD phục vụ). Nó hiển thị slow query log, topology cluster, phân phối Region, và công cụ trực quan hóa thực thi SQL — hữu ích để hiểu tại sao một truy vấn lại truy cập TiKV thay vì TiFlash.

Khi Nào TiDB Phù Hợp — và Khi Nào Không

TiDB xứng đáng với độ phức tạp của nó tại một giao điểm cụ thể: mixed workload trên cùng một dataset, ở quy mô lớn. Ghi giao dịch bên cạnh đọc analytical, với đủ khối lượng để một node PostgreSQL hoặc MySQL đơn lẻ chạm ngưỡng giới hạn của nó. Thêm các node TiKV khi cần thêm dung lượng; PD tự động cân bằng lại Region.

Với các dự án nhỏ, một instance Postgres đơn lẻ với chiến lược đánh index tốt và pg_analytics đơn giản hơn và rẻ hơn. Chi phí vận hành của TiDB — nhiều thành phần, yêu cầu PD quorum, TiFlash storage duplication — chỉ đáng giá khi bạn thực sự cần những gì nó cung cấp.

Cài đặt Compose này chỉ dành cho môi trường phát triển. Deployment production thực tế chạy TiUP — công cụ quản lý cluster chính thức của PingCAP — trên bare metal hoặc cloud VM, với các node chuyên dụng cho mỗi thành phần và Prometheus/Grafana được tích hợp để quan sát hệ thống. Tài liệu chính thức đề cập đến topology đó một cách chuyên sâu trong mục “Deploy TiDB Using TiUP.”

Hãy bắt đầu với cài đặt Docker, chạy các pattern truy vấn thực tế của bạn với khối lượng dữ liệu thực, và để kết quả EXPLAIN cho bạn biết liệu HTAP có thực sự phát huy hiệu quả hay không trước khi cam kết với một production cluster.

Share: