Posted inAI
投機的デコーディングでLLM推論を高速化：vLLMとllama.cpp実践ガイド
投機的デコーディングにより、モデル精度を損なうことなくLLMのトークン生成速度を2倍に引き上げることができます。本実践ガイドでは、半年間の本番環境運用実績をもとに、vLLMおよびllama.cppでのドラフトモデルの設定手法を詳しく解説します。
Posted inAI
PythonでのOutlines活用術：正規表現と文脈自由文法（CFG）で保証するLLMの構造化出力
商用LLM APIから返される不正なJSONにお困りですか？正規表現や文脈自由文法（CFG）を用いて、Pythonで確実に有効な構造化出力を生成するOutlinesの活用法を紹介します。
Posted inAI
LinuxでDockerを使ったSGLangのデプロイ：RadixAttentionによる高速LLM推論
SGLangはRadixAttentionを使用してリクエスト間の共有プレフィックスをキャッシュするため、チャットボット、エージェント、RAGパイプラインではvLLMより大幅に高速です。このガイドでは、GPUツールキットのセットアップから本番環境対応のDocker Compose構成まで、LinuxでDockerを使ったSGLangのデプロイ手順を解説します。
Posted inAI
ローカルLLMの速度を向上させる：投機的デコーディング（Speculative Decoding）実践ガイド
ローカルLLMの推論速度を2倍以上に向上させましょう。本ガイドでは、コンシューマー向けGPU上でllama.cppとvLLMを使用して「投機的デコーディング」を構築する実践的な手順を解説します。
Posted inAI
高パフォーマンスなLLM推論：プロダクション環境におけるvLLMとDockerのスケーリング
vLLMとDockerでAIのパフォーマンスを向上させましょう。PagedAttention、テンソル並列化、量子化を活用して、数百人の同時実行ユーザーに対応できるようLLMをスケールさせる方法を学びます。