Posted inAI
Linux上のTensorRTでAI推論を最適化：NVIDIA GPUのパフォーマンスを最大限に引き出す
Linux上でNVIDIA TensorRTを使用してAIモデルをプロダクション向けに最適化する方法を学びます。インストールからONNX変換、GPU推論速度を最大化するためのパフォーマンス監視まで網羅しています。
Posted inAI
高パフォーマンスなLLM推論：プロダクション環境におけるvLLMとDockerのスケーリング
vLLMとDockerでAIのパフォーマンスを向上させましょう。PagedAttention、テンソル並列化、量子化を活用して、数百人の同時実行ユーザーに対応できるようLLMをスケールさせる方法を学びます。