AI tutorial - IT technology blog

LinuxでDockerを使ったSGLangのデプロイ:RadixAttentionによる高速LLM推論

SGLangはRadixAttentionを使用してリクエスト間の共有プレフィックスをキャッシュするため、チャットボット、エージェント、RAGパイプラインではvLLMより大幅に高速です。このガイドでは、GPUツールキットのセットアップから本番環境対応のDocker Compose構成まで、LinuxでDockerを使ったSGLangのデプロイ手順を解説します。
AI tutorial - IT technology blog

MilvusとPythonによる大規模セマンティック検索の構築:数百万件のベクトルに対応するデータパーティショニングとクエリ最適化

数百万件規模のベクトルに対応するセマンティック検索のスケーリングには、構造化されたパーティショニングと適切なインデックス調整が不可欠です。本ガイドでは、PythonによるMilvusのデプロイ、Partition Keysの実装、低レイテンシクエリを実現するHNSWグラフの設定方法を解説します。