LLM推論が期待より遅い本当の原因
強力なNVIDIA GPU、十分にトレーニングされた言語モデル、そして本番デプロイメントが揃っているにもかかわらず、推論レイテンシは1リクエストあたり2〜3秒、同時接続ユーザーが10人を超えるとスループットが崩壊する——そんな状況に陥っていないだろうか。ボトルネックはハードウェアではない。モデルの実行方法にある。
多くのチームはHugging Face TransformersとPyTorchから始める。プロトタイピングには問題ない。しかしPyTorchのeager実行モードは高スループットのサービング向けに設計されておらず、特に固定モデルアーキテクチャで繰り返し推論を行う場合、驚くほど多くのGPU演算リソースが無駄になっている。
根本原因はグラフ最適化の欠如にある。フォワードパスのたびにオペレーターフュージョン、メモリレイアウト、カーネル選択がゼロから再計算される。TensorRT-LLMはモデルを最適化されたTensorRTエンジンに一度コンパイルし、以降のリクエストすべてでそれを再利用することでこの問題を解決する。同じハードウェア上で、スループットは通常3〜5倍向上し、最初のトークンのレイテンシは50〜70%削減される。
LLMを単なるデモではなく本番サービスとして運用しているなら、この最適化はほとんどのハードウェアアップグレードよりも重要だ。正しく設定すれば、同じGPU予算でA100がはるかに多くのユーザーを捌けるようになる。
インストール:DockerでTensorRT-LLMをセットアップする
NVIDIAの公式Dockerイメージは環境構築の手間を大幅に省いてくれる。CUDA、cuDNN、TensorRT、Pythonバインディングがプリインストールされてバージョンが揃っているため、依存関係の地獄で数時間を無駄にせずに済む。
前提条件
- Ampereアーキテクチャ以降のNVIDIA GPU(A100、A10、RTX 3090/4090、H100)
- NVIDIAドライバー ≥ 525.85
- NVIDIA Container Toolkitがインストール済みのDocker Engine
- イメージとモデルの重み用に少なくとも20GBのディスク容量
まず、NVIDIA Container Toolkitが正常に動作しているか確認する:
docker run --rm --gpus all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi
GPUが出力に表示されていれば問題ない。表示されない場合は、先にツールキットをインストールする:
# NVIDIA Container Toolkitをインストール
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
TensorRT-LLM DockerイメージのPull
NVIDIAはTensorRT-LLMイメージをコンテナレジストリで公開している。CUDAドライバーに合ったバージョンを選択する:
# TensorRT-LLMイメージをPull(必要に応じてバージョンを調整)
docker pull nvcr.io/nvidia/tritonserver:24.05-trtllm-python-py3
# または軽量なTensorRT-LLM開発イメージ
docker pull nvcr.io/nvidia/tensorrt-llm:0.11.0
GPUアクセス付きのコンテナを起動し、モデルの重み用のローカルディレクトリをマウントする:
docker run --gpus all \
--ipc=host \
--ulimit memlock=-1 \
--ulimit stack=67108864 \
-v /path/to/models:/models \
-p 8000:8000 \
-it nvcr.io/nvidia/tensorrt-llm:0.11.0 bash
--ipc=hostフラグは重要だ——コンテナプロセス間の共有メモリを有効にし、TensorRT-LLMがマルチGPUテンソル並列処理に必要とするリソースを確保する。
設定:最初のTensorRTエンジンのビルドとサービング
TensorRT-LLMは2つのステージで動作する:モデルをTensorRTエンジンにコンパイルし、それをサービングする。コンパイルこそが本質的な作業が行われる場所だ——CUDAカーネルが融合され、メモリレイアウトが最適化され、エンジンが特定のGPUハードウェアに固定される。
ステップ1:モデルの重みを変換する
Llama-3-8Bを例として、まずコンテナ内でモデルをダウンロードする:
# モデルをダウンロードするためにHugging Face hubをインストール
pip install huggingface_hub
# モデルの重みをダウンロード(ゲートモデルにはHFトークンが必要)
huggingface-cli download meta-llama/Meta-Llama-3-8B \
--local-dir /models/llama3-8b \
--token YOUR_HF_TOKEN
次に重みをTensorRT-LLMチェックポイント形式に変換する:
cd /app/tensorrt_llm/examples/llama
python convert_checkpoint.py \
--model_dir /models/llama3-8b \
--output_dir /models/llama3-8b-trtllm-ckpt \
--dtype float16 \
--tp_size 1
A100またはH100では、数値的安定性を高めるために--dtype bfloat16に切り替える。マルチGPU構成では、--tp_size 2(または4、8)を設定してテンソル並列処理でモデルをGPU間に分散させる。
ステップ2:TensorRTエンジンをビルドする
モデルグラフを最適化されたバイナリにコンパイルする。GPUとモデルサイズによって5〜15分かかる:
trtllm-build \
--checkpoint_dir /models/llama3-8b-trtllm-ckpt \
--output_dir /models/llama3-8b-engine \
--gemm_plugin float16 \
--max_batch_size 32 \
--max_input_len 2048 \
--max_seq_len 4096 \
--use_paged_context_fmha enable
ワークロードに合わせて調整すべき主要パラメーター:
--max_batch_size:最大同時リクエスト数。値を大きくするとスループットが向上するが、メモリ使用量も増加する。--max_input_len+--max_seq_len:実際のユースケースに基づいて設定する。値が大きいほどKVキャッシュメモリを多く消費する。--use_paged_context_fmha enable:ページングされたKVキャッシュアテンションを有効にする——パディングによるメモリの無駄を省いて可変長シーケンスを処理するために不可欠。
ステップ3:Triton Inference Serverで起動する
本番サービング用にTensorRT-LLMとNVIDIA Tritonを組み合わせる。まずモデルリポジトリ構造を作成する:
mkdir -p /triton_model_repo/tensorrt_llm/1
# エンジンファイルをコピー
cp /models/llama3-8b-engine/* /triton_model_repo/tensorrt_llm/1/
# Triton設定を作成
cat > /triton_model_repo/tensorrt_llm/config.pbtxt << 'EOF'
name: "tensorrt_llm"
backend: "tensorrtllm"
max_batch_size: 32
parameters {
key: "executor_worker_path"
value: { string_value: "/opt/tritonserver/backends/tensorrtllm/trtllmExecutorWorker" }
}
parameters {
key: "max_tokens_in_paged_kv_cache"
value: { string_value: "2560" }
}
parameters {
key: "batch_scheduler_policy"
value: { string_value: "inflight_fused_batching" }
}
EOF
inflight_fused_batchingスケジューラーこそが、プロダクショングレードのサービングと単純なバッチ処理を分けるものだ。現在のバッチが完了するのを待つのではなく、受信リクエストをアクティブなバッチに継続的にマージする。トラフィックパターンが不均一であっても、GPU使用率を高く維持できる。
Tritonサーバーを起動する:
tritonserver \
--model-repository /triton_model_repo \
--http-port 8000 \
--grpc-port 8001 \
--metrics-port 8002
検証とモニタリング:実際に速くなったことを確認する
計測しよう。デプロイメントが正常に動作していると盲目的に信じるのではなく——TensorRT-LLMとTritonは、レイテンシとスループットの改善量を正確に確認するのに十分なテレメトリを公開している。
簡易機能テスト
import tritonclient.http as httpclient
import numpy as np
import json
client = httpclient.InferenceServerClient(url="localhost:8000")
# サーバーの健全性を確認
print("サーバー準備完了:", client.is_server_ready())
print("モデル準備完了:", client.is_model_ready("tensorrt_llm"))
# テスト推論リクエストを送信
inputs = [
httpclient.InferInput("text_input", [1, 1], "BYTES"),
httpclient.InferInput("max_tokens", [1, 1], "INT32"),
]
prompt = "Dockerネットワーキングをわかりやすく説明してください。"
inputs[0].set_data_from_numpy(np.array([[prompt.encode()]], dtype=object))
inputs[1].set_data_from_numpy(np.array([[256]], dtype=np.int32))
outputs = [httpclient.InferRequestedOutput("text_output")]
result = client.infer("tensorrt_llm", inputs, outputs=outputs)
print(result.as_numpy("text_output")[0][0].decode())
スループットのベンチマーク
TensorRT-LLMには組み込みのベンチマークツールが付属している。エンジンに対して実行してベースライン数値を取得する:
python /app/tensorrt_llm/benchmarks/python/benchmark.py \
-m llama \
--engine_dir /models/llama3-8b-engine \
--batch_size 1 8 16 32 \
--input_output_len 512,128 \
--dtype float16
同じベンチマークを素のPyTorchのベースラインに対して実行し、数値を比較しよう。A100 80GBでは、Llama-3-8BはPyTorchの約15トークン/秒からTensorRT-LLMのバッチサイズ1で80〜120トークン/秒に向上するのが典型的だ。バッチサイズが大きくなるほど差はさらに広がる。
GPU使用率とKVキャッシュの監視
TritonはPrometheus互換のメトリクスをポート8002で公開している:
# 主要メトリクスを確認
curl -s http://localhost:8002/metrics | grep -E \
'nv_inference_request_success|nv_inference_queue_duration|kv_cache_utilization'
kv_cache_utilizationには特に注意が必要だ。負荷時に90%を超え続ける場合は、Triton設定でmax_tokens_in_paged_kv_cacheを増やすか、max_batch_sizeを下げる。本番のTensorRT-LLMデプロイメントでレイテンシスパイクが発生する最も一般的な原因は、計算リソースではなくKVキャッシュ圧迫だ。
継続的な可視性のためにこれらのメトリクスをPrometheusとGrafanaに接続する。追跡すべきパネル:トークン/秒、最初のトークンまでの時間(p50/p99)、キュー深度、時系列KVキャッシュ使用率。
エンジンの再ビルドが必要なとき
TensorRTエンジンは特定のGPUモデル、CUDAバージョン、コンパイル時パラメーターに合わせてビルドされる。以下の場合に再ビルドが必要だ:
- 異なるGPUジェネレーションへのアップグレード時
- CUDAまたはTensorRTバージョンの変更時
- 最大バッチサイズまたは最大シーケンス長の調整時
- FP16とBF16精度の切り替え時
再現可能なビルドスクリプトをバージョン管理に保存しておく。再ビルドはデバッグセッションではなく、単一のコマンドで完了すべきだ。コンパイル時間——8Bモデルで通常10〜15分——は一度限りのコストだ。それ以降、すべての推論呼び出しは最適化されたエンジンに対して実行される。

