Vấn đề thực tế: SFT chạm trần hiệu năng và PPO đụng tường bộ nhớ
Supervised Fine-Tuning (SFT) truyền thống thường gặp nhiều khó khăn với các bài toán suy luận nhiều bước. Nếu bạn nạp 20.000 chuỗi mẫu chain-of-thought tổng hợp vào một mô hình mã nguồn mở bằng cross-entropy loss, mạng nơ-ron chỉ học được nhịp điệu suy luận bề ngoài mà thiếu đi cơ chế kiểm chứng bên dưới. Nó có thể tạo ra những câu nối trôi chảy như ‘Chờ đã, để tôi kiểm tra lại xem’ ở các trường hợp biên, nhưng ngay ba token sau đó lại lặp lại chính xác lỗi tính toán số học.
Bài báo về R1 của DeepSeek đã chứng minh reinforcement learning có thể phá vỡ giới hạn này ra sao. Tuy nhiên, thuật toán Proximal Policy Optimization (PPO) truyền thống lại đòi hỏi phần cứng vô cùng nặng nề.
Bạn phải chứa đồng thời bốn mô hình trong bộ nhớ: actor, reference policy, critic (value network), và reward model. Một mô hình 7B tham số ở định dạng FP16 đã ngốn khoảng 14 GB VRAM chỉ riêng cho trọng số. Nhân con số đó cho bốn vai trò cộng thêm optimizer states và KV cache, thì ngay cả một GPU A100 80 GB cũng cạn kiệt bộ nhớ trước khi hoàn tất bước đầu tiên.
Phân tích nguyên nhân gốc rễ: Vì sao SFT học vẹt và PPO làm cạn kiệt VRAM
Có hai điểm nghẽn chính kìm hãm các mô hình suy luận trong môi trường production: bắt chước mà không kiểm chứng, và chi phí tài nguyên quá lớn cho critic trong các vòng lặp RLHF tiêu chuẩn.
1. Bắt chước token vs. Khám phá tự chủ
SFT xem các token suy luận như văn bản thông thường. Nếu một câu lệnh SQL prompt yêu cầu đoạn nháp (scratchpad) dài 15 dòng, cross-entropy loss sẽ phạt mọi token sai lệch so với chuỗi tham chiếu. Mô hình không bao giờ học được cách quay lui (backtrack) hay thử nghiệm các nhánh logic khác. Nó chỉ ghi nhớ các lộ trình tĩnh thay vì hình thành phản xạ tự kiểm chứng linh hoạt.
2. Nút thắt cổ chai critic trong PPO
RLHF cổ điển phụ thuộc vào một value network ($V(s)$) để ước lượng phần thưởng tích lũy kỳ vọng cho từng token sinh ra. Critic bắt buộc phải có dung lượng tương đương actor để đưa ra các baseline chuẩn xác. Điều này đồng nghĩa cụm máy của bạn phải duy trì hai mô hình lớn, mỗi mô hình có trạng thái AdamW riêng biệt—chiếm thêm 8 byte cho mỗi tham số—cùng các activation buffer. Yêu cầu hai mạng song song này khiến các đội ngũ chỉ có workstation một GPU hoàn toàn không thể tiếp cận.
3. Group Relative Policy Optimization (GRPO) loại bỏ Critic như thế nào
GRPO loại bỏ hoàn toàn mạng critic. Với mỗi prompt $q$, policy sẽ lấy mẫu một nhóm gồm $G$ phản hồi ứng viên: $\{o_1, o_2, \dots, o_G\}$. Các hàm reward dựa trên quy tắc (rule-based) sẽ chấm điểm từng ứng viên, cho ra các điểm số $\{r_1, r_2, \dots, r_G\}$. Thuật toán sẽ chuẩn hóa trực tiếp các phần thưởng này trong nội bộ nhóm:
A_i = (r_i - mean(r)) / (std(r) + 1e-4)
Lợi thế tương đối (relative advantage) thay thế cho baseline giá trị được học từ critic. Nhờ tính toán advantage dựa trên các đầu ra song song, GRPO cắt giảm hoàn toàn bộ nhớ tham số của critic trong khi vẫn kiểm soát tốt phương sai gradient. Bạn hoàn toàn có thể huấn luyện một policy suy luận mạnh mẽ mà không cần đến cụm máy chủ doanh nghiệp đắt đỏ.
So sánh kiến trúc: SFT vs. PPO vs. GRPO
Trước khi bắt đầu huấn luyện, hãy xem xét cách các phương pháp này xử lý logic và ngân sách bộ nhớ:
- Supervised Fine-Tuning (SFT): Thời gian huấn luyện nhanh nhất và thiết lập đơn giản nhất. Chi phí tính toán tối thiểu, nhưng policy không thể tự sửa sai khi gặp các prompt nằm ngoài tập phân phối (out-of-distribution).
- Proximal Policy Optimization (PPO): Khả năng khám phá policy mạnh mẽ, nhưng nổi tiếng là khó ổn định hyperparameter. Đòi hỏi 3 đến 4 mô hình đồng thời trong VRAM, khiến nó bất khả thi đối với các hệ thống dưới 4x GPU A100/H100.
- Group Relative Policy Optimization (GRPO): Loại bỏ critic, cắt giảm 40% đến 50% tổng lượng VRAM tiêu thụ so với PPO. Tích hợp trực tiếp với các reward tất định bằng Python như regex, parser toán học hoặc test suite pytest.
Từng bước thực hiện: Áp dụng GRPO thực tế với Hugging Face TRL
Chúng ta có thể huấn luyện một pipeline suy luận theo phong cách DeepSeek-R1 bằng thư viện trl của Hugging Face kết hợp với LoRA trên Qwen/Qwen2.5-3B-Instruct hoặc 7B-Instruct.
Bước 1: Cài đặt các thư viện phụ thuộc
Cài đặt các phiên bản mới nhất của TRL, PEFT và vLLM để hỗ trợ rollout sinh chuỗi theo batch trong quá trình huấn luyện:
pip install --upgrade torch transformers trl peft accelerate datasets vllm
Bước 2: Xây dựng các hàm Reward dựa trên quy tắc
Các reward model bằng neural network có thể gây ra hiện tượng reward hacking và trôi dạt (drift). DeepSeek-R1 phụ thuộc phần lớn vào các quy tắc tất định. Chúng ta có thể kiểm soát cả cấu trúc thẻ lẫn độ chính xác của câu trả lời thông qua các bước kiểm tra Python đơn giản:
import re
def format_reward_func(completions, **kwargs):
"""Kiểm tra xem đầu ra có bọc phần suy luận trong <think> và câu trả lời trong <answer> hay không."""
rewards = []
pattern = r"^<think>.*?</think>\s*<answer>.*?</answer>$"
for completion in completions:
content = completion[0]["content"]
if re.match(pattern, content, re.DOTALL):
rewards.append(1.0)
elif "<think>" in content and "</think>" in content:
rewards.append(0.4)
else:
rewards.append(0.0)
return rewards
def accuracy_reward_func(prompts, completions, answer, **kwargs):
"""Xác thực chuỗi câu trả lời trích xuất được so với ground truth."""
rewards = []
for completion, target in zip(completions, answer):
content = completion[0]["content"]
match = re.search(r"<answer>(.*?)</answer>", content, re.DOTALL)
if match:
extracted = match.group(1).strip().lower()
clean_target = str(target).strip().lower()
rewards.append(2.0 if extracted == clean_target else 0.0)
else:
rewards.append(0.0)
return rewards
Bước 3: Huấn luyện với LoRA và GRPOTrainer
Xây dựng dataset của bạn với các prompt rõ ràng và giá trị ground truth chuẩn xác. Đoạn script sau đây cấu hình GRPOTrainer cho một nhóm rollout gồm 8 câu trả lời:
from datasets import Dataset
from peft import LoraConfig
from trl import GRPOConfig, GRPOTrainer
# Dữ liệu suy luận mẫu theo domain
data = {
"prompt": [
[{"role": "system", "content": "Hãy suy luận từng bước bên trong thẻ <think>, sau đó đưa ra câu trả lời cuối cùng bên trong thẻ <answer>."},
{"role": "user", "content": "Một cụm server có 8 node. Mỗi node chạy 6 container. Có 3 container bị crash trên mỗi node. Hỏi còn lại bao nhiêu container đang hoạt động?"}],
],
"answer": ["24"]
}
dataset = Dataset.from_dict(data)
# Cấu hình LoRA giúp đóng băng (freeze) trọng số base model
peft_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
training_args = GRPOConfig(
output_dir="./grpo-reasoning-model",
learning_rate=5e-6,
per_device_train_batch_size=1,
gradient_accumulation_steps=4,
num_generations=4, # Kích thước nhóm G được lấy mẫu cho mỗi prompt
max_prompt_length=256,
max_completion_length=512,
temperature=0.8,
beta=0.04, # Hệ số phạt KL chống lệch khỏi reference policy
logging_steps=10,
save_strategy="steps",
save_steps=50,
bf16=True,
)
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-3B-Instruct",
reward_funcs=[format_reward_func, accuracy_reward_func],
args=training_args,
train_dataset=dataset,
peft_config=peft_config,
)
trainer.train()
Kinh nghiệm thực chiến: Triển khai GRPO ổn định trong Production
- Tinh chỉnh kích thước nhóm ($G$): Duy trì
num_generationstrong khoảng từ 4 đến 8. Nếu giảm xuống dưới 4, phương sai reward gần như triệt tiêu, dẫn đến gradient bị nhiễu và làm suy giảm chất lượng policy. - Cảnh giác với tình trạng trục lợi độ dài (Length Exploitation): Mô hình học cách lợi dụng reward về độ dài rất nhanh. Nếu bạn thưởng cho phản hồi dài, mô hình sẽ nhồi nhét hàng nghìn dấu chấm than vào khối suy luận. Hãy gắn chặt hệ số nhân reward với kết quả chính xác.
- Hiệu chuẩn KL Penalty: Giữ
betatrong khoảng 0.01 đến 0.05. Nếu mô hình bắt đầu lặp lại các cụm từ vô nghĩa, hãy tăng beta để kéo trọng số đang huấn luyện về gần hơn với reference policy. - Cố định System Prompt: Đảm bảo system prompt khi chạy thực tế khớp hoàn toàn với hướng dẫn định dạng đã dùng trong quá trình reinforcement learning. Chỉ một thay đổi nhỏ trong prompt cũng có thể làm giảm tỷ lệ sinh thẻ mong muốn.

