AI tutorial - IT technology blog

DockerでMLflowをデプロイする:実際のMLOpsパイプラインでML実験を追跡し、モデルレジストリを管理する

PostgreSQLとMinIOを使ったDocker Compose上へのMLflowデプロイを実践的に解説するガイド。実際のMLOpsパイプラインでの実験追跡、モデルバージョン管理、モデルレジストリのステージ管理をカバーしている。モデルリネージュ不備が原因で深夜2時に発生した本番インシデントの経験から生まれた内容だ。
AI tutorial - IT technology blog

DSPyによるプロンプト最適化の自動化:手動プロンプトエンジニアリングを置き換える宣言的LLMプログラミング

DSPyを使えば、手動でプロンプトを書く代わりに入出力を宣言的に定義するだけでLLMパイプラインを構築でき、ラベル付きサンプルを使って自動的に最適化されます。このガイドでは、手動プロンプトエンジニアリングとのトレードオフを解説し、実際に動作するコード例を交えて実装方法を詳しく説明します。
AI tutorial - IT technology blog

llama.cppの量子化でLLMモデルをGGUF形式に変換する方法

大規模言語モデルをローカルで動かすには、品質を損なわずにファイルサイズを削減する必要があります。このガイドでは、Hugging Faceからモデルをダウンロードし、GGUF形式に変換して、Q4_K_Mなどのレベルに量子化することで一般的なハードウェアで動作させるまでのllama.cppの全パイプラインを解説します。