単純なHuggingFace推論サーバーはステージング環境では問題なく動く―本番の負荷が来てレイテンシが45秒に跳ね上がるまでは。このガイドでは、標準的なLLM推論が同時負荷で崩壊する理由、vLLMのPagedAttentionがメモリ問題を解決する仕組み、そしてOpenAI互換APIによる完全なDockerデプロイメントを解説する。