Posted inAI

UnslothとQLoRAによるLLMのファインチューニング：コンシューマー向けGPUでLlama 3をトレーニングする

AI tutorial - IT technology blog
AI tutorial - IT technology blog

VRAMの壁：なぜローカル環境でのトレーニングは失敗するのか

ローカルワークステーションでLlama 2をファインチューニングしようとした最初の試みは、散々な結果に終わりました。当時、24GBのVRAMを搭載したRTX 3090なら十分だと思っていました。しかし、「実行」ボタンを押して数秒後、ターミナルは悪名高いCUDA Out of Memory (OOM)エラーを吐いてクラッシュしました。バッチサイズを極小にし、4-bit量子化を適用しても、勾配（gradients）やオプティマイザの状態によるオーバーヘッドがハードウェアの限界を超えてしまったのです。

この「VRAMの壁」は、単純なAPI呼び出しからカスタムモデルの構築へとステップアップする開発者が必ず通る道です。特定の法務や医療の専門用語を理解するモデルを作りたいと思っても、ハードウェア要件が障壁となることが少なくありません。実験段階でH100を1時間あたり4ドルでレンタルし続けると、コストはあっという間に膨れ上がります。

メモリボトルネックを理解する

メモリ問題を解決するには、実際に何がGPUを占有しているのかを把握する必要があります。Llama 3 8Bを16-bit精度（FP16）でロードするだけで、重み（weights）だけで約15GBのVRAMを消費します。トレーニングはさらに負荷がかかります。バックプロパゲーション（誤差逆伝播）の間、システムは以下の複数のデータタイプを同時に保持しなければなりません。

  • モデルの重み（Model Weights）： ニューラルネットワークのコアパラメータ.
  • オプティマイザの状態（Optimizer States）： AdamWなどのアルゴリズムが重みの更新を追跡するために使用するデータ。
  • 勾配（Gradients）： 各重みに対する変更の方向と大きさの計算値。
  • アクティベーション（Activations）： バックプロパゲーションのために一時的に保存される中間計算結果。

一般的なセットアップでは、オプティマイザの状態と勾配がモデル自体の4倍ものメモリを消費することがあります。LoRA（Low-Rank Adaptation）を使用しても、アクティベーションメモリはシーケンス長に応じて急激に増加します。4,096のコンテキストウィンドウでトレーニングを試みれば、最初のエポックが終わる前に24GB of VRAMは使い果たされるでしょう。

ファインチューニング戦略の比較

様々な最適化ライブラリをテストした結果、開発者には3つの選択肢があることが分かりました。

1. フルファインチューニング

モデルの全パラメータを更新する方法です。最も包括的なアプローチですが、膨大なハードウェアリソースを必要とします。8Bモデルを扱うには通常8枚のA100クラスターが必要であり、小規模なチームには現実的ではありません。

2. 標準的なLoRAとQLoRA

LoRAはベースモデルの重みを凍結し、学習可能な小さな「アダプター」層を追加します。QLoRAはベースモデルを4-bitに量子化することで、これをさらに改善しました。これによりコンシューマー向けハードウェアでのトレーニングが可能になりましたが、標準的なHugging FaceのPEFT実装は速度が遅い傾向にあります。これは、LoRA特有の数学的演算に最適化されていない汎用的なCUDAカーネルに依存しているためです。

3. Unslothのアドバンテージ

Unslothは、Tritonを使用してアテンション層やMLP層などのコアな数学的カーネルを書き直すことで、この状況を一変させました。バックプロパゲーションを手動で最適化し、メモリオーバーヘッドを劇的に削減します。その結果、標準的なQLoRAと比較して、トレーニング速度は2倍になり、メモリ使用量は70%削減されます。高額なクラウド費用をかけずにカスタムAIを構築する、最も効率的な方法です。

実践的なワークフロー：Unsloth + QLoRA

Unslothの最適化されたカーネルと4-bit量子化を組み合わせる手法は、現在、効率性の面でゴールドスタンダード（決定版）となっています。私はこのセットアップを使用し、ミドルレンジのGPU1枚で5万件のインストラクションを1時間以内に処理しました。実装方法は以下の通りです。

ステップ1：環境構築

クリーンなLinux環境と最新のNVIDIAドライバから始めましょう。依存関係を管理し、バージョンの競合を避けるためにCondaの使用をお勧めします。

conda create --name unsloth_env python=3.10 -y
conda activate unsloth_env

# Unslothと主要な依存関係のインストール
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
pip install --no-deps "xformers<0.0.27" "trl<0.9.0" peft accelerate bitsandbytes

ステップ2：Llama 3のロード

標準的なHugging Faceのクラスの代わりに、Unslothのローダーを使用します。これにより、パフォーマンス向上のための最適化されたTritonカーネルが自動的にトリガーされます。

from unsloth import FastLanguageModel
import torch

max_seq_length = 2048 
dtype = None # GPUに基づいて自動検出
load_in_4bit = True 

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/llama-3-8b-bnb-4bit",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)

ステップ3：LoRAアダプターの設定

次に、LoRAのパラメータを定義します。Unslothの実装では、これらのアダプターが標準的な手法よりも効率的に計算グラフに統合されます。

model = FastLanguageModel.get_peft_model(
    model,
    r = 16, 
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    use_gradient_checkpointing = "unsloth", # VRAM節約のために極めて重要
    random_state = 3407,
    use_rslora = False,
    loftq_config = None,
)

ステップ4：データの準備

データを正しくフォーマットすることは不可欠です。Llama 3の場合、トレーニング後にモデルが指示に正確に従うように、特定のチャットテンプレートを使用する必要があります。

from datasets import load_dataset

def formatting_prompts_func(examples):
    instructions = examples["instruction"]
    inputs       = examples["input"]
    outputs      = examples["output"]
    texts = []
    for instruction, input, output in zip(instructions, inputs, outputs):
        # Llama 3のプロンプト構造に厳密に従う
        text = f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n{instruction} {input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n{output}<|eot_id|>"
        texts.append(text)
    return { "text" : texts, }

dataset = load_dataset("json", data_files="my_data.jsonl", split="train")
dataset = dataset.map(formatting_prompts_func, batched = True,)

ステップ5：トレーナーの実行

SFT（教師ありファインチューニング）トレーナーを利用します。Unslothはこのツールにパッチを適用し、トレーニングループ中に高速なバックエンドが使用されるようにします。

from trl import SFTTrainer
from transformers import TrainingArguments

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    dataset_text_field = "text",
    max_seq_length = max_seq_length,
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        max_steps = 60, 
        learning_rate = 2e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
    ),
) 

trainer.train()

結果の検証とエクスポート

トレーニング後は、損失曲線（loss curves）を確認して安定性をチェックします。私は常に、モデルが「ハルシネーション（幻覚）」を起こしていないか、一般的な推論能力を失っていないかを確認するために、即座に推論テストを行います。Unslothは推論速度も2倍に向上させます。 

FastLanguageModel.for_inference(model)
inputs = tokenizer(["量子物理学について5歳児にもわかるように説明してください。"], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 64)
tokenizer.batch_decode(outputs)

本番環境へのデプロイには、モデルをOllama用のGGUF形式に直接エクスポートしたり、Hugging Face用の標準的な16-bit LoRAアダプターとして保存したりできます。ハイエンドなAI開発は、もはや巨大なサーバー室を持つ組織だけのものではありません。Unslothのような専門的なツールを活用することで、手持ちのハードウェアで高性能なドメイン特化型アシスタントを構築できるのです。

Share:
Tags: