Các API embedding và reranker bên ngoài thường phát sinh độ trễ khó lường và hóa đơn hàng tháng đắt đỏ. Dưới đây là cách triển khai Infinity với Docker để phục vụ mô hình embedding và cross-encoder cục bộ với độ trễ p95 dưới 15ms.