Posted inAI
ローカルLLMの速度を向上させる：投機的デコーディング（Speculative Decoding）実践ガイド
ローカルLLMの推論速度を2倍以上に向上させましょう。本ガイドでは、コンシューマー向けGPU上でllama.cppとvLLMを使用して「投機的デコーディング」を構築する実践的な手順を解説します。
Posted inAI
高パフォーマンスなLLM推論：プロダクション環境におけるvLLMとDockerのスケーリング
vLLMとDockerでAIのパフォーマンスを向上させましょう。PagedAttention、テンソル並列化、量子化を活用して、数百人の同時実行ユーザーに対応できるようLLMをスケールさせる方法を学びます。