Posted inAI

Spring AIとJavaで構築するエンタープライズAI：RAGとベクトルデータベース実践ガイド

AI tutorial - IT technology blog
AI tutorial - IT technology blog

エンタープライズAI統合：Pythonブリッジのジレンマ

ほぼすべての生成AI（GenAI）チュートリアルはPythonから始まります。私たちのエンジニアリングチームが基幹ERPプラットフォームに社内文書検索と対話型クエリ機能を追加することになった際も、まさにその定石に従いました。Spring Boot 3バックエンドと並行して、LangChainを実行するFastAPIマイクロサービスをデプロイしたのです。しかし、わずか3週間で無視できない綻びが生じ始めました。

クエリのたびに、異なるランタイム間での複雑なデータ連携が必要でした。Javaサービス側でJPAエンティティグラフをJSONにシリアライズしてHTTP経由で送信し、Python側で埋め込み（Embedding）が生成されるのを待ってからペイロードをデシリアライズする必要があったのです。その結果、P99レイテンシは約820msに達していました。

さらに、2つの独立したコードベース間でDTOスキーマの同期を維持することは、継続的デプロイにおける大きな頭痛の種となりました。2系統のCI/CDパイプラインを保守し、バラバラなPrometheusメトリクスを追跡し、余分なネットワークホップを挟んでJWT認証ヘッダーを受け渡さなければなりませんでした。AIをアプリケーションの自然な拡張として扱うどころか、運用のサイロ化を生み出してしまっていたのです。

Spring AIはこの断絶を解消します。LLMのオーケストレーション、ドキュメントのインジェスト、ベクトルストア操作のためのネイティブなJavaプリミティブを、Springフレームワークに直接もたらします。

アプローチの比較：ネイティブSpring AI vs. ポリグロットPythonサイドカー

大規模言語モデル（LLM）と検索拡張生成（RAG）を既存のJavaエコシステムに統合する際、開発チームはアーキテクチャ上の根本的な選択に直面します。

評価軸 ポリグロット構成（Spring Boot + Python/FastAPI） ネイティブ構成（Spring Boot + Spring AI）
アーキテクチャ REST/gRPCを介した2サービスモデル（サービス間レイテンシが40〜70ms増加） 単一のインプロセスランタイム（呼び出しオーバーヘッド <1ms）
リソースフットプリント 最小2ポッド（JVM + 1.5GBのPythonコンテナ） 統合されたJVMコンテナ（クラスタのRAMを30〜40%削減）
型安全性 HTTP境界をまたぐ手動のDTOマッピング エンドツーエンドのコンパイル時Java型チェック
可観測性 OpenTelemetryとPythonロガーの間で分断されたトレース 設定不要ですぐに使えるMicrometerメトリクスと統合分散トレーシング
デプロイメント 2つのDockerfile、個別のHelmチャート、足並みを揃えたリリース 標準のSpring Boot実行可能JARまたは単一のコンテナイメージ

各アーキテクチャのメリット・デメリット

ポリグロットサイドカー（Python + LangChain / LlamaIndex）

  • メリット：公開から数日以内に最先端の論文手法へアクセスでき、コミュニティによる豊富な実装レシピを活用できる。
  • デメリット：検索のたびに明確なネットワークペナルティが発生するほか、データモデルの重複、CVE攻撃対象領域の拡大、2つのプログラミングパラダイムによるチームフォーカスの分散が生じる。

ネイティブJavaスタック（Spring Boot + Spring AI）

  • メリット：ファーストクラスの依存性の注入（DI）、シームレスなトランザクション境界、一貫したSpring Securityコンテキストの伝播、そしてプロセス間のネットワークシリアライゼーションが一切不要。
  • デメリット：登場したばかりのコミュニティ発アルゴリズムは、通常Pythonで登場してからJavaに移植されるまでに数ヶ月のタイムラグがある。

18万件以上の社内文書を抱える本番環境のナレッジベースをネイティブSpring AIへ移行した際、その効果はすぐに現れました。サービス間ホップを排除したことで、平均検索時間は580msから195msへと短縮されました。同時に、Pythonポッドを停止したことで、KubernetesクラスタのRAM消費量を12GB削減できました。何より、Javaエンジニアが長年信頼してきた標準的なSpringパターンを用いて、RAGパイプラインを実装・テスト・デバッグできるようになったことが最大の利点です。

推奨構成

エンタープライズ対応の基盤として、本番環境で検証済みの以下のスタックをおすすめします。

  • ランタイム：Java 21 LTSおよびSpring Boot 3.3以降
  • AIフレームワーク：Spring AI 1.0.0-M4以降
  • ベクトルデータベース：PostgreSQL 16（pgvector 0.7+拡張機能、既存のリレーショナルインフラを活用）
  • モデルプロバイダー：OpenAI API（コスト効率の高い推論を実現するgpt-4o-mini）、または隔離されたローカルテスト用のセルフホストOllama

Dockerを使用すれば、ローカルのベクトルストアを数秒で起動できます。

docker run -d \
  --name postgres-vector \
  -e POSTGRES_DB=knowledgebase \
  -e POSTGRES_USER=postgres \
  -e POSTGRES_PASSWORD=secret \
  -p 5432:5432 \
  pgvector/pgvector:pg16

実装ガイド：本番グレードのRAGサービスの構築

1. プロジェクトの依存関係を設定する

pom.xmlにSpring AIのBill of Materials（BOM）と必要なスターターを追加します。

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>1.0.0-M4</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-pgvector-store-spring-boot-starter</artifactId>
    </dependency>
</dependencies>

2. アプリケーションプロパティを設定する

src/main/resources/application.propertiesにデータベース接続、ベクトルインデックスのパラメータ、モデルの認証情報を定義します。

spring.application.name=enterprise-ai-service

# OpenAIの設定
spring.ai.openai.api-key=${OPENAI_API_KEY}
spring.ai.openai.chat.options.model=gpt-4o-mini
spring.ai.openai.chat.options.temperature=0.2

# PgVector付きPostgreSQLの設定
spring.datasource.url=jdbc:postgresql://localhost:5432/knowledgebase
spring.datasource.username=postgres
spring.datasource.password=secret

# Spring AI PgVectorの設定
spring.ai.vectorstore.pgvector.initialize-schema=true
spring.ai.vectorstore.pgvector.index-type=HNSW
spring.ai.vectorstore.pgvector.distance-type=COSINE_DISTANCE
spring.ai.vectorstore.pgvector.dimensions=1536

3. 社内ナレッジをベクトルデータベースへインジェストする

モデルが独自の社内データに関する質問に回答できるようにするには、元のドキュメントを解析し、適切なトークンチャンクに分割し、ベクトル埋め込みを計算してPostgreSQLに保存する必要があります。以下は、社内規定ドキュメントを350文字のウィンドウを持つ800トークンのブロックに分割するよう構成された、本番対応のインジェストサービスの実装例です。

package com.itfromzero.ai.service;

import org.springframework.ai.document.Document;
import org.springframework.ai.reader.TextReader;
import org.springframework.ai.transformer.splitter.TokenTextSplitter;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.core.io.Resource;
import org.springframework.stereotype.Service;

import java.util.List;

@Service
public class IngestionService {

    private final VectorStore vectorStore;

    @Value("classpath:docs/enterprise-policy.txt")
    private Resource policyDocument;

    public IngestionService(VectorStore vectorStore) {
        this.vectorStore = vectorStore;
    }

    public void loadKnowledgeBase() {
        TextReader textReader = new TextReader(policyDocument);
        List<Document> rawDocuments = textReader.get();

        // チャンクサイズ800トークン、チャンク最小文字数350文字、オーバーラップマージン5トークン
        TokenTextSplitter splitter = new TokenTextSplitter(800, 350, 5, 10000, true);
        List<Document> chunks = splitter.apply(rawDocuments);

        vectorStore.accept(chunks);
    }
}

4. RAGチャットボットサービスの実装

検索拡張生成（RAG）はシンプルな仕組みに基づいています。ベクトルストアに対して意味的類似度の一致を検索し、抽出されたスニペットを事実のコンテキストとしてプロンプトに注入し、LLMに応答を生成させます。Spring AIの流れるような（fluentな）ChatClientとQuestionAnswerAdvisorを使用すれば、このライフサイクル全体を単一のBean構成で処理できます。

package com.itfromzero.ai.service;

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.client.advisor.QuestionAnswerAdvisor;
import org.springframework.ai.vectorstore.SearchRequest;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.stereotype.Service;

@Service
public class SupportBotService {

    private final ChatClient chatClient;

    public SupportBotService(ChatClient.Builder chatClientBuilder, VectorStore vectorStore) {
        this.chatClient = chatClientBuilder
                .defaultAdvisors(new QuestionAnswerAdvisor(
                        vectorStore,
                        SearchRequest.builder().topK(4).similarityThreshold(0.7).build()
                ))
                .defaultSystem("あなたは有能なエンタープライズITアシスタントです。" +
                        "提供されたコンテキストに厳密に基づいて質問に答えてください。" +
                        "コンテキストに回答が含まれていない場合は、わからないと答えてください。")
                .build();
    }

    public String askQuestion(String userPrompt) {
        return this.chatClient.prompt()
                .user(userPrompt)
                .call()
                .content();
    }
}

5. REST APIコントローラーの公開

アドバイザーをサービスに組み込めば、わずか20行未満のコードで対話型エンドポイントを公開できます。

package com.itfromzero.ai.controller;

import com.itfromzero.ai.service.SupportBotService;
import org.springframework.web.bind.annotation.*;

import java.util.Map;

@RestController
@RequestMapping("/api/v1/ai")
public class ChatController {

    private final SupportBotService supportBotService;

    public ChatController(SupportBotService supportBotService) {
        this.supportBotService = supportBotService;
    }

    @PostMapping("/chat")
    public Map<String, String> chat(@RequestBody Map<String, String> payload) {
        String query = payload.get("message");
        String reply = supportBotService.askQuestion(query);
        return Map.of("response", reply);
    }
}

6. 動作確認

curlを使用して稼働中のエンドポイントをテストします。

curl -X POST http://localhost:8080/api/v1/ai/chat \
  -H "Content-Type: application/json" \
  -d '{"message": "社内のリモートワーク規定はどうなっていますか？"}'

バックグラウンドでは、Spring AIがHNSWコサイン類似度スキャンを使用してPostgreSQLに問い合わせ、類似度しきい値0.7を満たすドキュメントをフィルタリングして拡張プロンプトを構築します。モデルは完全にプライベートな社内データに基づいて、350ms以内に回答を返します。

Share:
Tags: