Posted inAI
Vanna.aiとPythonで本番運用に耐えうるText-to-SQLエンジンを構築する
Vanna.aiとPythonを使用して高精度なText-to-SQLエンジンを構築する方法を解説。スキーマDDL、ビジネスルール、検証済みクエリのインデックス化から、本番環境向けのセキュリティ対策まで網羅します。
Posted inAI
ColPaliとByaldiで構築するビジュアルドキュメントRAG：OCR不要のPDF検索
表やグラフを崩してしまう脆弱なOCRパイプラインにお困りですか？ColPaliとByaldiを使い、テキスト抽出なしで複雑なPDFページを直接インデックス化するビジュアルドキュメント検索の実装方法を解説します。
Posted inデータベース
PostgreSQLで構築するハイブリッド検索：pgvectorと全文検索を相互ランク融合（RRF）で組み合わせた高精度RAGの実装
pgvectorによるセマンティック検索とPostgreSQLの全文検索を相互ランク融合（RRF）で統合。外部の専用ベクトルデータベースを導入することなく、本番環境のRAGシステム向けに高精度かつ堅牢なハイブリッド検索エンジンを構築します。
Posted inAI
Haystack 2.0によるモジュール式AIパイプラインの構築：本番向けRAGにおけるLangChainの明快な代替案
本番環境でブラックボックスなフレームワークの抽象化に悩まされていませんか？Haystack 2.0の明示的なモジュール式コンポーネント設計を採用し、Pythonで信頼性と保守性に優れたRAGパイプラインやエージェントを構築する方法を解説します。
Posted inAI
Crawl4AIとPython：LLMおよびRAGシステム向けの高精度クリーンMarkdown抽出
未加工のHTMLはトークン肥大化とノイズをもたらし、RAGパイプラインの精度を損ないます。本記事では、Crawl4AIとPythonを用いて動的Webページからクリーンな構造化Markdownを抽出し、エンベディングのトークン消費量を50%以上削減する方法を解説します。
Posted inAI
本番RAGパイプラインに向けたIBM DoclingとPythonによる複雑なドキュメント解析
本番運用のRAGシステム向けに、IBM DoclingとPythonを用いたドキュメント解析の実践ガイド。複雑な表、数式、レイアウトをクリーンなセマンティックチャンクとして抽出する手法を解説します。
Posted inAI
PostgreSQLベクトル検索のスケーリング：本番RAG向けHNSWチューニングとテーブルパーティショニング
PostgreSQLとpgvectorによるエンタープライズRAGのスケーリングには、単純なインデックス以上の工夫が必要です。HNSWインデックスチューニングと宣言的パーティショニングを組み合わせることで、800万ベクトルにおいてp95クエリレイテンシを2.8秒から14msに短縮した手法を紹介します。
Posted inAI
LightRAGとPythonで構築する軽量なグラフベースRAGシステム
ドキュメントをまたぐマルチホップ推論において従来のベクトルRAGは限界があり、エンタープライズ向けのGraphRAGは膨大なトークンコストがかかります。本記事では、LightRAGとPythonを使って軽量かつ2段階検索を備えたGraph RAGパイプラインを構築する方法を解説します。
Posted inデータベース
DockerでのQdrantデプロイ：RAGとセマンティック検索における本番運用6ヶ月の振り返り
2,000万件以上の埋め込みベクトルを対象に、Docker上でQdrantを運用した実践的な本番レビュー。Docker Composeテンプレート、スカラー量子化のベンチマーク、gRPCチューニング、Prometheus監視設定などを解説します。
Posted inホームラボ
Docker上でOllamaとOpen WebUIを使ったローカルAIサーバーの構築：セルフホスト型RAGとWeb検索
Docker上でOllama、Open WebUI、SearXNGを使用したセルフホスト型AIサーバーの構築ガイド。GPUパススルー、ローカルRAGによるドキュメント取り込み、プライベートWeb検索連携まで詳しく解説します。