AI tutorial - IT technology blog

LinuxでDockerを使ったSGLangのデプロイ:RadixAttentionによる高速LLM推論

SGLangはRadixAttentionを使用してリクエスト間の共有プレフィックスをキャッシュするため、チャットボット、エージェント、RAGパイプラインではvLLMより大幅に高速です。このガイドでは、GPUツールキットのセットアップから本番環境対応のDocker Compose構成まで、LinuxでDockerを使ったSGLangのデプロイ手順を解説します。