AI tutorial - IT technology blog

LinuxでDockerを使ったSGLangのデプロイ:RadixAttentionによる高速LLM推論

SGLangはRadixAttentionを使用してリクエスト間の共有プレフィックスをキャッシュするため、チャットボット、エージェント、RAGパイプラインではvLLMより大幅に高速です。このガイドでは、GPUツールキットのセットアップから本番環境対応のDocker Compose構成まで、LinuxでDockerを使ったSGLangのデプロイ手順を解説します。
AI tutorial - IT technology blog

Intel CPU上での高性能LLM:OpenVINO実戦ガイド

高価なGPUは必要ありません。本ガイドでは、Intel OpenVINOと4ビット量子化を使用して、Llama 3などのLLMを標準的なCPUでプロダクションレベルのパフォーマンスで実行する方法を解説します。