TRLとGRPOで推論モデルを学習する:独自データセットによるDeepSeek-R1スタイルの強化学習

AI tutorial - IT technology blog
AI tutorial - IT technology blog

現実の課題:SFTの限界とPPOが直面するメモリの壁

標準的な教師ありファインチューニング(SFT)は、多段階の論理的思考を苦手としています。交差エントロピー損失を用いてオープンソースモデルに2万件の合成Chain-of-Thoughtトレースを学習させても、モデルは本質的な検証プロセスを伴わずに推論の「リズム」だけを模倣してしまいます。エッジケースにおいて「待てよ、もう一度確認しよう」といった流暢なつなぎ言葉を出力しながらも、そのわずか3トークン後にはまったく同じ算術エラーを繰り返すことになります。

DeepSeekのR1論文は、強化学習によってこの限界をいかに打破できるかを示しました。しかし、従来のProximal Policy Optimization(PPO)は多大なハードウェアリソースを要求します。

Actor、Reference Policy、Critic(価値関数ネットワーク)、Reward Modelという4つのモデルを同時にメモリへ収容しなければなりません。FP16精度の7Bパラメータモデルは、重みだけでも約14 GBのVRAMを消費します。これを4つの役割に掛け合わせ、さらにオプティマイザ状態やKVキャッシュを加えると、80 GBのA100であっても最初のステップすら完了する前にメモリ不足に陥ります。

根本原因の分析:なぜSFTは丸暗記になり、PPOはVRAMを枯渇させるのか

本番環境レベルの推論モデル構築を阻んでいる摩擦要因は2つあります。「検証を伴わない模倣」と、「標準的なRLHFループにおけるCriticのオーバーヘッド」です。

1. トークンの模倣 vs. 自律的な探索

SFTは推論トークンを通常のテキスト出力と同様に扱います。例えばSQLプロンプトが15行のスクラッチパッドを要求する場合、交差エントロピー損失は参照文字列から乖離したすべてのトークンにペナルティを科します。そのため、モデルは後戻り(バックトラック)したり代替の論理分岐を検証したりすることを一切学習しません。動的な検証習慣を身につける代わりに、静的なパスを丸暗記してしまうのです。

2. PPOにおけるCriticのボトルネック

従来のRLHFは、生成された各トークンの期待累積報酬を推定するために価値関数ネットワーク($V(s)$)に依存しています。正確なベースラインを得るには、CriticがActorと同等のキャパシティを持つ必要があります。つまりクラスタ上では、パラメータあたり8バイトを追加で消費する独立したAdamW状態とアクティベーションバッファを抱えた2つの巨大モデルを保持しなければなりません。この2重ネットワークの要件により、単一GPUワークステーション環境での学習は実質的に不可能となっていました。

3. Group Relative Policy Optimization(GRPO)によるCriticの排除メカニズム

GRPOはCriticネットワークを完全に排除します。各プロンプト $q$ に対して、ポリシーは $G$ 個の候補出力グループ $\{o_1, o_2, \dots, o_G\}$ をサンプリングします。ルールベースの報酬関数が各候補をスコアリングし、スコア $\{r_1, r_2, \dots, r_G\}$ を算出します。アルゴリズムはこれらの報酬をグループ内で直接正規化します:

A_i = (r_i - mean(r)) / (std(r) + 1e-4)

学習された価値ベースラインの代わりに、相対的なアドバンテージが用いられます。並列生成された出力間でアドバンテージを算出することで、GRPOは勾配の分散を抑えつつCritic分のパラメータフットプリントを削減します。これにより、エンタープライズ規模のクラスタを用意せずとも高性能な推論ポリシーを学習できます。

アーキテクチャの比較:SFT vs. PPO vs. GRPO

学習を実行する前に、各アプローチが論理処理とメモリバジェットをどのように扱うかを確認しておきましょう:

  • Supervised Fine-Tuning(SFT):学習が最も高速でセットアップも極めてシンプル。計算オーバーヘッドは最小限ですが、分布外(OOD)のプロンプトを処理する際にポリシーが自己修正できません。
  • Proximal Policy Optimization(PPO):強力なポリシー探索能力を持つものの、ハイパーパラメータの不安定さで悪名高い手法。3〜4個のモデルをVRAM上に同時保持する必要があり、4x A100/H100 GPU未満の環境では非現実的です。
  • Group Relative Policy Optimization(GRPO):Criticを排除することで、PPOと比較して総VRAM使用量を40%〜50%削減。正規表現のパターンマッチング、数式パーサー、pytestスイートといった決定論的なPython報酬関数と直接連携可能です。

ステップ解説:Hugging Face TRLを用いた実践的GRPO

Hugging FaceのtrlライブラリとLoRAを組み合わせることで、Qwen/Qwen2.5-3B-Instructや7B-InstructをベースにDeepSeek-R1スタイルの推論パイプラインを学習できます。

ステップ1:依存パッケージのインストール

学習中のバッチ生成ロールアウトをサポートするため、最新ビルドのTRL、PEFT、vLLMをインストールします:

pip install --upgrade torch transformers trl peft accelerate datasets vllm

ステップ2:ルールベースの報酬関数の構築

ニューラル報酬モデルは、報酬ハッキングやドリフトを引き起こす可能性があります。DeepSeek-R1は決定論的なルールに大きく依存しています。シンプルなPythonチェックを通じて、タグ構造と回答精度の両方を担保できます:

import re

def format_reward_func(completions, **kwargs):
    """出力が推論を<think>で、回答を<answer>で厳密に囲んでいるかを検証する。"""
    rewards = []
    pattern = r"^<think>.*?</think>\s*<answer>.*?</answer>$"
    for completion in completions:
        content = completion[0]["content"]
        if re.match(pattern, content, re.DOTALL):
            rewards.append(1.0)
        elif "<think>" in content and "</think>" in content:
            rewards.append(0.4)
        else:
            rewards.append(0.0)
    return rewards

def accuracy_reward_func(prompts, completions, answer, **kwargs):
    """抽出した回答文字列を正解ラベル(ground truth)と照合して検証する。"""
    rewards = []
    for completion, target in zip(completions, answer):
        content = completion[0]["content"]
        match = re.search(r"<answer>(.*?)</answer>", content, re.DOTALL)
        if match:
            extracted = match.group(1).strip().lower()
            clean_target = str(target).strip().lower()
            rewards.append(2.0 if extracted == clean_target else 0.0)
        else:
            rewards.append(0.0)
    return rewards

ステップ3:LoRAとGRPOTrainerによる学習

明確なプロンプトと正解ラベル値を含むデータセットを構成します。以下のスクリプトは、8つの候補生成グループロールアウト向けにGRPOTrainerを設定します:

from datasets import Dataset
from peft import LoraConfig
from trl import GRPOConfig, GRPOTrainer

# ドメイン推論用サンプルデータ
data = {
    "prompt": [
        [{"role": "system", "content": "<think>タグ内でステップバイステップで思考し、最終的な回答を<answer>タグ内に出力してください。"}, 
         {"role": "user", "content": "あるサーバークラスタに8台のノードがあります。各ノードは6個のコンテナを実行しています。ノードごとに3個のコンテナがクラッシュした場合、生存しているコンテナは何個ですか?"}],
    ],
    "answer": ["24"]
}
dataset = Dataset.from_dict(data)

# ベースモデルの重みを凍結したままにするLoRA設定
peft_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

training_args = GRPOConfig(
    output_dir="./grpo-reasoning-model",
    learning_rate=5e-6,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    num_generations=4,         # プロンプトごとにサンプリングするグループサイズG
    max_prompt_length=256,
    max_completion_length=512,
    temperature=0.8,
    beta=0.04,                 # 参照モデルからの乖離を防ぐKLペナルティ係数
    logging_steps=10,
    save_strategy="steps",
    save_steps=50,
    bf16=True,
)

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-3B-Instruct",
    reward_funcs=[format_reward_func, accuracy_reward_func],
    args=training_args,
    train_dataset=dataset,
    peft_config=peft_config,
)

trainer.train()

現場からの知見:本番環境でGRPOを安定稼働させるためのポイント

  • グループサイズ($G$)の調整:num_generationsは4から8の間に保ちます。4未満に減らすと報酬の分散が失われ、勾配にノイズが生じてポリシーの劣化を招きます。
  • 出力長のエクスプロイトに注意:モデルは長さに応じた報酬をすぐに悪用(ハック)します。出力の長さに安易な報酬を与えると、推論ブロック内に感嘆符を3,000個も詰め込むような挙動に陥ります。報酬の乗数は必ず正しい解法に対してのみ厳密に紐づけてください。
  • KLペナルティの調整:betaは0.01から0.05の範囲に収めます。モデルが無意味なフレーズを繰り返し始めた場合は、betaを上げてアクティブな重みをReference Policyへ引き戻すように調整します。
  • システムプロンプトの固定:本番環境のシステムプロンプトが、強化学習時に使用したフォーマット指示と厳密に一致していることを確認してください。プロンプトのわずかな差異でも、タグの出力率を著しく低下させる可能性があります。
Share: