Posted inAI
DockerでText Generation Inference（TGI）をデプロイして高性能LLMサービングを実現する
LLMの遅いPythonラッパーを卒業しましょう。Hugging FaceのText Generation Inference（TGI）をDockerでデプロイし、高スループット・低レイテンシのAIサービングを実現する方法を解説します。
Posted inAI
Smolagentsで構築する信頼性の高いAIエージェント：コード中心のロジックへの転換
不安定なJSONベースのツール呼び出しから脱却しましょう。本ガイドでは、smolagentsを使用して、Pythonコードを生成・実行することで複雑な課題を解決する自律型AIエージェントの構築方法を紹介します。
Posted inAI
LLMの本番環境でのファインチューニング：いつ、どのようにマスターするか
本番環境でLLMが特定のドメイン知識や一貫した出力に苦戦する場合、ファインチューニングが最も効果的な解決策となる可能性があります。この記事では、ファインチューニングをいつ、どのように適用するかを探り、安定した正確なAIアプリケーションの結果を達成するための実践的な手順と、LoRAのような現代的で効率的な技術に焦点を当てています。