Gộp Mô Hình LLM với Mergekit: Xây Dựng Model Tùy Chỉnh Không Tốn Chi Phí GPU

Table of Contents

LLM Hiệu Suất Cao Không Tốn $4/Giờ Thuê GPU

Fine-tuning một Mô hình Ngôn ngữ Lớn (LLM) ngốn tài nguyên rất nhiều. Từ việc thuê H100 cluster đến quy trình curation dữ liệu nhọc nhằn, nhiều đội kỹ thuật không đủ khả năng chi trả cho AI tùy chỉnh. Tuy nhiên, có một phím tắt tôi thường dùng để tạo prototype nhanh: Model Merging (Gộp Mô hình).

Với Mergekit, bạn có thể hợp nhất những điểm mạnh của nhiều model khác nhau. Chẳng hạn, kết hợp khả năng suy luận của Llama 3 với sức sáng tạo của một fine-tune Mistral chuyên biệt. Kết quả là một model duy nhất, vượt trội hơn, không cần backpropagation hay gradient. Điều tuyệt vời nhất là bạn không cần cluster A100. Một server Linux thông thường với đủ RAM là đủ.

Ban đầu tôi khá hoài nghi về cách tiếp cận “Frankenstein” này. Nhưng sau khi triển khai các model đã gộp lên production, dữ liệu đã tự nói lên tất cả. Trong một dự án nội bộ, một model 8B sau khi gộp đã vượt qua fine-tune tiêu chuẩn của chúng tôi trên các tác vụ lập trình gần 15%, trong khi chi phí tính toán training là đúng bằng không.

Khởi Động Nhanh: Merge Đầu Tiên Trong Chưa Đầy 10 Phút

Để bắt đầu, bạn cần một instance Ubuntu 22.04 hoặc 24.04 sạch. Đảm bảo có ít nhất 32GB RAM hệ thống cho các model 8B. Nếu nhắm đến model 70B, hãy chuẩn bị 256GB RAM hoặc một NVMe swap tốc độ cao.

1. Thiết Lập Môi Trường

Mergekit được viết bằng Python. Tôi khuyên dùng virtual environment để giữ hệ thống sạch sẽ và tránh xung đột dependency.

# Cài đặt các gói cần thiết
sudo apt update && sudo apt install git python3-pip python3-venv -y

# Chuẩn bị không gian làm việc
python3 -m venv mergekit-env
source mergekit-env/bin/activate

# Cài đặt Mergekit từ source
git clone https://github.com/arcee-ai/mergekit.git
cd mergekit
pip install -e .

2. Soạn Thảo Cấu Hình

Mergekit dùng YAML để định nghĩa “công thức”. Tạo file config.yaml. Chúng ta sẽ dùng SLERP (Spherical Linear Interpolation) để blend Llama 3 gốc với một instruct model hiệu suất cao.

slices:
  - sources:
      - model: meta-llama/Meta-Llama-3-8B-Instruct
        layer_range: [0, 32]
      - model: cognitivecomputations/dolphin-2.9-llama3-8b
        layer_range: [0, 32]
merge_method: slerp
base_model: meta-llama/Meta-Llama-3-8B-Instruct
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

3. Chạy Quá Trình Merge

Thực thi merge bằng lệnh dưới đây. Flag --allow-crimes là lựa chọn yêu thích của cộng đồng; nó cho phép quá trình merge tiếp tục ngay cả khi có sự không tương thích nhỏ về kiến trúc giữa các model.

mergekit-yaml config.yaml ./my-merged-model --allow-crimes --copy-tokenizer

Trên ổ NVMe hiện đại, quá trình thường hoàn tất trong 5 đến 8 phút. Bạn sẽ thấy các weight sẵn sàng cho inference trong thư mục output.

Khám Phá Sâu: Chọn Chiến Lược Phù Hợp

Toán học đằng sau quá trình merge quyết định bạn sẽ có một model xuất sắc hay một cỗ máy ảo giác nghe có vẻ logic. Tôi thường dùng ba phương pháp đã được chứng minh.

SLERP (Nội Suy Tuyến Tính Cầu)

SLERP là tiêu chuẩn vàng cho việc merge hai model. Phép lấy trung bình đơn giản thường làm mờ đi các đặc trưng độc đáo của weight. Tuy nhiên SLERP di chuyển theo đường cầu giữa các vector, bảo toàn hình học đa chiều, đảm bảo model kết quả giữ được sự sắc bén từ các model gốc.

TIES (Cắt Tỉa, Bầu Chọn và Hợp Nhất)

Nếu bạn cần kết hợp ba model trở lên, hãy dùng TIES. Phương pháp này giải quyết vấn đề “giao thoa” khi các model khác nhau cố kéo cùng một weight theo hướng ngược nhau. Nó cắt tỉa các thay đổi có độ lớn nhỏ, bầu chọn hướng chiếm ưu thế cho mỗi weight, và chỉ hợp nhất các giá trị tương thích.

DARE (Bỏ Và Chia Tỷ Lệ Lại)

DARE là một cách tiếp cận phẫu thuật. Nó đưa về 0 phần lớn các delta weight (sự khác biệt giữa base và fine-tune) trước khi merge. Cực kỳ hiệu quả khi bạn muốn tích hợp nhiều khả năng chuyên biệt—như lập trình Python và viết sáng tạo—vào một base model duy nhất mà không phá vỡ logic cốt lõi.

“Frankenmerge”: Xếp Chồng Các Layer

Đôi khi việc blend weight không đủ; bạn muốn mở rộng dung lượng của model. Phương pháp Passthrough cho phép xếp chồng các layer để tạo ra các kích thước “trung gian”. Chẳng hạn, bạn có thể biến model 7B thành model 10.7B bằng cách lặp lại các layer giữa cụ thể.

Dưới đây là đoạn cấu hình cho việc mở rộng Mistral lên 48 layer:

slices:
  - sources:
      - model: Mistral-7B-v0.1
        layer_range: [0, 24]
  - sources:
      - model: Mistral-7B-v0.1
        layer_range: [8, 32]
merge_method: passthrough
dtype: bfloat16

Cấu hình này chồng lắp layer 8 đến 24. Dù nghe có vẻ phản trực giác, các model “dài” này thường cho thấy bước nhảy đáng kinh ngạc về độ sâu suy luận, mặc dù chúng cần nhiều VRAM hơn để chạy.

Bài Học Xương Máu Cho Production

Sau hàng chục lần merge, tôi đã rút ra một số quy tắc không thể bỏ qua để thành công.

Kiểm Tra Nguồn Gốc

Bạn không thể SLERP một model Llama 3 với model Mistral. Chúng phải có cùng kiến trúc và lý tưởng nhất là cùng tổ tiên. Merge các kiến trúc không liên quan dẫn đến kết quả vô nghĩa ngay lập tức. Chỉ phương pháp Passthrough có thể kết nối các model khác nhau, nhưng ngay cả khi đó, nó vẫn rất mang tính thử nghiệm.

Theo Dõi RAM

Merge rất tốn bộ nhớ. Một model 8B cần khoảng 16GB RAM trống chỉ cho một bộ weight. Nếu bạn nhắm đến model 70B, đừng thử nếu không có 128GB đến 256GB bộ nhớ hệ thống. Tin tốt là Mergekit xử lý toán học trên CPU, vì vậy GPU cao cấp là tùy chọn trong suốt quá trình merge.

Bẫy Tokenizer

Luôn chỉ định thủ công tokenizer nào cần giữ lại. Nếu bạn merge một model được train trên ChatML với một model được train trên Alpaca, các prompt của bạn sẽ thất bại. Tôi luôn chọn tokenizer từ model có hiệu suất tuân thủ chỉ thị tốt nhất để làm giao diện chính.

Xác Thực Bằng Benchmark

Một model đã merge có thể chat hoàn hảo nhưng thất bại ở toán học cơ bản. Tôi không bao giờ deploy một merge mà không chạy qua LM Evaluation Harness. Kiểm tra với 20-30 prompt nội bộ tĩnh cũng cực kỳ quan trọng. Điều này đảm bảo “logic” của model không bị phá hủy trong quá trình hợp nhất toán học.

Model merging là công cụ đắc lực cho bất kỳ kỹ sư DevOps hay AI nào. Nó cho phép lặp lại nhanh chóng mà không phải chịu gánh nặng của các vòng training truyền thống. Bắt đầu với SLERP đơn giản, chuyển sang TIES cho các blend đa model, và bạn sẽ thấy mình có thể đạt được hiệu suất hàng đầu với ngân sách eo hẹp.