外部のEmbeddingやReranker APIは、予測不能なレイテンシを引き起こし、毎月の請求額を押し上げます。本記事では、DockerとInfinityを用いてEmbeddingおよびCross-Encoderモデルをローカルで動かし、p95レイテンシ15ms未満を実現する手順を解説します。