Posted inAI
128Kの限界を超えて：実用的なアプリケーションのための長文コンテキストLLMの最適化
大規模なドキュメントに対するLLMのパフォーマンスを最適化する方法を学びましょう。本ガイドでは、RAGからネイティブな長文コンテキストへの移行、「Lost in the Middle（中央での喪失）」問題、そして精度を確保するためのNeedle In A Haystackテストの活用法について解説します。
Posted inAI
LLMの知識蒸留（Knowledge Distillation）：モデルを軽量化して高速化と低コスト化を実現する方法
Llama-3-70Bのような大規模モデルから、より小さく高速なモデルへ推論能力を転移させる、LLMの知識蒸留の実践ガイドです。具体的な実装手順からコスト最適化、本番環境でのモニタリング戦略までを網羅しています。
Posted inAI
GOT-OCR2でローカルAI OCRシステムを構築する：クラウド不要、サブスク不要、Pythonだけで完結
高額なクラウドOCRの請求に悩まされていませんか？PythonとGOT-OCR2を活用して、複雑な表や数式、読み取りにくい書類にも対応できる高性能なローカルAI OCRシステムを構築する方法を学びましょう。
Posted inAI
DockerでMLflowをデプロイする：実際のMLOpsパイプラインでML実験を追跡し、モデルレジストリを管理する
PostgreSQLとMinIOを使ったDocker Compose上へのMLflowデプロイを実践的に解説するガイド。実際のMLOpsパイプラインでの実験追跡、モデルバージョン管理、モデルレジストリのステージ管理をカバーしている。モデルリネージュ不備が原因で深夜2時に発生した本番インシデントの経験から生まれた内容だ。
Posted inAI
PostgreSQLで直接機械学習：SQLで学習と予測を実行する
データの移動はやめましょう。PostgresMLと標準的なSQLクエリを使用して、PostgreSQL内で直接XGBoostやScikit-learnモデルをトレーニングし、デプロイする方法を学びます。
Posted inAI
ROCmを使用したAMD GPUでのAIモデル実行：本番環境対応ガイド
NVIDIA税から脱却しましょう。このガイドでは、AMD ROCm 6.1をセットアップして高性能なAI推論を実現する方法を、Radeon 7900シリーズの実機ベンチマークとセットアップのコツを交えて紹介します。
Posted inAI
Grounding DINOとSAMによる自動アノテーション：データセット準備を数週間から数時間に短縮
手作業のアノテーションから解放されましょう。Grounding DINOとSAMを連携させ、コンピュータビジョンプロジェクトの工数を大幅に削減するゼロショット自動アノテーションパイプラインの構築方法を紹介します。
Posted inAI
DSPyによるプロンプト最適化の自動化：手動プロンプトエンジニアリングを置き換える宣言的LLMプログラミング
DSPyを使えば、手動でプロンプトを書く代わりに入出力を宣言的に定義するだけでLLMパイプラインを構築でき、ラベル付きサンプルを使って自動的に最適化されます。このガイドでは、手動プロンプトエンジニアリングとのトレードオフを解説し、実際に動作するコード例を交えて実装方法を詳しく説明します。
Posted inAI
llama.cppの量子化でLLMモデルをGGUF形式に変換する方法
大規模言語モデルをローカルで動かすには、品質を損なわずにファイルサイズを削減する必要があります。このガイドでは、Hugging Faceからモデルをダウンロードし、GGUF形式に変換して、Q4_K_Mなどのレベルに量子化することで一般的なハードウェアで動作させるまでのllama.cppの全パイプラインを解説します。
Posted inAI
MLモデルモニタリング：本番環境でのAIの失敗を防ぐ方法
モデルのデプロイは始まりに過ぎません。PythonとEvidentlyを使用して、パフォーマンスの追跡、データドリフトの検出、そして本番環境でのAIのサイレントな失敗を防ぐ方法を学びましょう。