DockerでDifyをデプロイ:エンタープライズ向けにビジュアルLLM、RAG、AIワークフローをセルフホストする

AI tutorial - IT technology blog
AI tutorial - IT technology blog

現場の現実的な課題:エンタープライズAI開発におけるボトルネック

半年前、私たちのチームは大きな壁にぶつかりました。プロダクトマネージャー、QAリード、そしてTier 3サポートエンジニアたちは、400ページに及ぶAPIドキュメントの解析や、週2,500件届くJiraチケットの自動トリアージを行う社内向けAIアシスタントの構築を熱望していました。しかし、本来の新機能開発を進める代わりに、2名のシニアエンジニアが3スプリント連続でLangChainスクリプトをつなぎ合わせ、ベクトルインデックスの作成に悪戦苦闘し、壊れやすい急造のReactダッシュボードの構築に追われることになったのです。

イテレーションのサイクルは苦痛そのものでした。システムプロンプトの微調整やドキュメントのチャンク分割の変更が必要になるたびに、エンジニアがバックエンドのPythonコードを修正し、CIを通過させ、新しいコンテナイメージをプッシュしなければなりませんでした。このフィードバックループには数時間もかかり、非エンジニアのメンバーは完全に締め出されていました。さらに悪いことに、クラウド型のホステッドビルダーの導入検証は開始から48時間足らずでコンプライアンス担当者によって中止されました。当社のSOC 2 Type II監査基準により、マスキングされていない顧客データやソースコードをAWS VPC外へ送信することが一切禁じられていたためです。

多くのエンジニアリングチームが、まさにこの袋小路に陥っています。独自のつなぎ合わせコードの保守に毎週60時間ものエンジニア工数を浪費するか、パブリックSaaSベンダーに自社の機密ソースコードを渡してコンプライアンス違反による多額の制裁金リスクを冒すかの二者択一を迫られるのです。

根本原因の分析:社内AIプロジェクトが頓挫する理由

初期のPoC(概念実証)を経て社内LLMプロジェクトが停滞する場合、ほぼ例外なく次の3つのアーキテクチャ上の障壁が原因となっています。

  • エンジニアとドメイン専門家の間の壁:プロンプトエンジニアリング、モデル評価、リトリーバルの調整には、ドメイン知識を持つ専門家による日々の試行錯誤が不可欠です。プロンプトの細かな言い回しの調整すらgitコミットやプルリクエストを経由しなければならない状況は、チームの開発速度を著しく削ぎ落とします。
  • 断片化されたインフラストラクチャ:本番環境におけるRAG(Retrieval-Augmented Generation)は、単純なチャット補完エンドポイントよりもはるかに複雑です。ドキュメントパーサー、トークナイザー、埋め込みモデル、ベクトルストア、Redisキャッシュ層、Celeryワーカー、そしてRBAC(ロールベースのアクセス制御)が求められます。これらのマイクロサービスを手動でつなぎ合わせると、膨大な技術的負債を抱えることになります。
  • データ主権とコンプライアンス:GDPR、HIPAA、SOC 2などの厳格な規制では、きめ細かな監査ログとデータの完全な隔離が義務付けられています。サードパーティのパブリックWebポータル経由で社内データを送信すると、モデルの再学習に無断利用されたり、社内境界を越えて機密データが漏洩したりするリスクが生じます。

ソリューションの比較検討

技術スタックを標準化するにあたり、エンジニアリングチームが選択可能な4つの標準的アーキテクチャパターンについて、60日間の検証を実施しました。

1. カスタムフレームワーク(LangChain / LlamaIndex + 独自UI)

スタンドアロンのPythonマイクロサービスを独自に構築することで、完全なアーキテクチャの自由度が得られます。しかし、継続的な保守コストは過大です。すべてのワークフローに対して専用の入力フォーム、セッショントラッキング、レートリミッター、トークンコストのロギング、認証ミドルウェアを個別に実装しなければなりません。実際、当社のエンジニアはプロンプト精度の向上ではなく、UI周りのつなぎ合わせコードの修正に業務時間の85%を費やすことになりました。

2. 軽量チャットフロントエンド(例:Open WebUI)

Open WebUIは、セルフホストされたLLMをバックエンドとする洗練されたChatGPT風インターフェースを提供する点において優れています。しかし、本質的に直線的なテキストのやりとりのみを目的として設計されています。ビジュアルなDAG(有向非巡回グラフ)によるオーケストレーション、複数分岐の条件付きルーティング、自動Webhookトリガー、そしてエンタープライズデータセット向けのETLパイプラインは備わっていません。

3. パブリッククラウドSaaSビルダー

マネージドプラットフォームは優れたUIを提供し、運用のオーバーヘッドもゼロです。しかし問題は、API利用量の増加に伴ってアカウントあたりの料金が高騰し、1ユーザーあたり月額40〜100ドルに達することも珍しくない点です。さらに決定的な問題として、マルチテナントのパブリッククラウドサービスへ社内ソースコードや顧客の個人情報(PII)を送信することは、企業のセキュリティポリシーで厳格に禁じられているケースがほとんどです。

4. DockerによるDifyのセルフホスト

Difyはこれらすべてのバランスを完璧に保っています。ビジュアルワークフロービルダー、データセットパーサー、プロンプトテストスタジオ、可観測性ダッシュボードが単一のコンテナスタックとしてパッケージ化されています。開発者は本番運用のREST APIや埋め込み用Webウィジェットを活用できる一方、すべての埋め込みデータ、PostgreSQLレコード、ベクトルインデックスは社内ファイアウォールの内側で安全に保護されます。

本番環境向けDockerデプロイ手順と実践Tips

DifyをDocker上で運用することで、プラットフォームチームはインフラの完全なコントロールを維持できます。さらに極めて重要な点として、非エンジニアのチームメンバーでも直感的なインターフェースを通じて自律的に試行錯誤を重ねられるようになります。

ステップ1:システムサイジングと前提条件

RAGの検索クエリを実行する25〜50人の社内同時接続ユーザーをサポートするには、以下の基準仕様を満たすVMを用意します。

  • CPU:最小4 vCPU。ローカルの埋め込みモデル(BAAI/bge-large-enなど)を同一ホスト上で直接実行する場合は8 vCPUを推奨。
  • RAM:ベースラインとして8 GB、Celeryバックグラウンドタスクが並行処理される際のOOM(Out of Memory)エラーを防ぐには16 GBを推奨。
  • ストレージ:Dockerイメージ、ベクトルストレージボリューム、PostgreSQLのWAL(先行書き込みログ)用に60 GB以上のNVMe SSD。
  • ランタイム:Docker Engine 24.0以上およびDocker Compose v2.20以上。

ステップ2:リポジトリのクローンと環境変数の設定

Difyの公式リポジトリをクローンし、Dockerセットアップ用ディレクトリへ移動します。

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env

安全なシークレットキーを生成し、.envファイルを更新します。本番環境のインスタンスをデフォルトの認証情報で稼働させてはいけません。

# 42文字のシークレットキーを生成
openssl rand -base64 42

# .envを開き、本番環境向けの重要なキーを設定
SECRET_KEY=生成したキーをここに貼り付け

# ベクトルバックエンドの設定(デフォルト: weaviate、選択肢: qdrant, pgvector, milvus)
VECTOR_STORE=weaviate

# ナレッジベースのインデックス作成用ファイルアップロード制限
UPLOAD_FILE_SIZE_LIMIT=50
BATCH_UPLOAD_LIMIT=20

# Webサービスのポートマッピング
EXPOSE_NGINX_PORT=80
EXPOSE_NGINX_SSL_PORT=443

ステップ3:スタックの起動

マルチコンテナスタックをバックグラウンド(デタッチドモード)で起動します。

docker compose up -d

Difyは、APIサーバー、フロントエンド、Celeryワーカー、Redisキャッシュ、PostgreSQL、Weaviateなどを含む9つの主要サービスを起動します。次に進む前に、すべてのコンテナが正常(healthy)に稼働していることを確認します。

docker compose ps

出力結果で、docker-api-1、docker-web-1、docker-worker-1、docker-db-1、docker-redis-1、docker-weaviate-1の状態がUpになっていることを確認してください。

ステップ4:初期セットアップとモデルプロバイダーの統合

ブラウザでhttp://<サーバーのIPアドレス>を開きます。初期セットアップ画面が表示され、プライマリ管理者アカウントの登録を求められます。このアカウントは、ワークスペース全体の権限、ユーザー招待、システム設定を管理します。

管理コンソールにログインしたら、Settings > Model Provider(設定 > モデルプロバイダー)からモデルバックエンドを設定します。

  • パブリッククラウドAPI:OpenAI、Anthropic、またはAzure OpenAIエンドポイントの法人用APIキーを登録します。
  • 社内プライベートモデル:プライベートネットワーク上で稼働している社内OllamaやvLLM環境にDifyを接続します(例:http://host.docker.internal:11434や、VPC内部DNSエンドポイントであるhttp://vllm-cluster.internal:8000/v1など)。

ステップ5:本番環境向け堅牢化のベストプラクティス

コンテナを立ち上げるだけであれば10分で完了します。しかし、実際のエンタープライズワークロード下で安定稼働を維持するには、適切な運用のガードレールを設ける必要があります。

Tip 1:高負荷なパース処理専用に独立したワーカーを割り当てる

デフォルトの設定では、Difyは軽量なAPI呼び出しと80MBのPDF解析のような高負荷タスクで同一のCeleryワーカーを共有します。そのため、複数のマニュアルが同時にアップロードされると、チャットの応答遅延が急増してしまいます。本番環境ではワーカーのスケールを分離・増強しましょう。

docker compose up -d --scale worker=4

Tip 2:前段にTLS対応の外部リバースプロキシを配置する

Dify内部のNginxコンテナを直接インターネットに公開してはいけません。前段にTraefik、Caddy、またはAWS Application Load Balancerを配置してください。HSTSの設定、Let’s EncryptによるSSL/TLS証明書の自動更新、および管理ダッシュボードへのアクセスを社内VPNサブネットに制限するなどの対策を講じます。

Tip 3:リレーショナルデータとベクトルのバックアップを自動化する

Difyの状態データは主に2つのコンポーネントに分かれて保持されます。PostgreSQL(ワークフロー、アプリ定義、プロンプト設定、会話ログ)と、ベクトルストアのストレージボリューム(埋め込みベクトルおよびメタデータ)です。日次のcronジョブでシェルスクリプトを実行し、PostgreSQLのダンプ取得とベクトルストレージボリュームのアーカイブを自動化しましょう。

#!/usr/bin/env bash
set -euo pipefail

TIMESTAMP=$(date +"%Y%m%d_%H%M%S")
BACKUP_DIR="/opt/backups/dify"
mkdir -p "$BACKUP_DIR"

# PostgreSQLデータベースのダンプを取得
docker exec -t docker-db-1 pg_dump -U postgres dify > "$BACKUP_DIR/dify_db_${TIMESTAMP}.sql"

# 過去14日分のバックアップを保持(14日以前のファイルを削除)
find "$BACKUP_DIR" -type f -name "*.sql" -mtime +14 -delete

Tip 4:適切なRAGセグメンテーション(チャンク分割)を標準化する

様々な形式の生ドキュメントをそのままナレッジベースに投入しても、検索の適合率は大きく低下します。Difyのデータセットエディタを活用して、意味論に基づいたチャンク分割(セマンティックチャンキング)を設定してください。APIドキュメントやMarkdown形式のガイドの場合、チャンクサイズを400〜600トークン、オーバーラップを80トークンに設定するのが効果的です。この設定により、トークンコストを抑えつつ、コードブロックや表をまたぐコンテキストの連続性を維持できます。

次のステップ

これでセルフホスト環境のセットアップは完了です。Studio(スタジオ)タブを開き、Create from Blank(最初から作成)を選択して、最初のビジュアルDAGワークフローを組み立ててみましょう。社内ドキュメントのデータセットを紐付け、LLMノードを接続すれば、リアルタイムに応答をテストできます。動作検証が済んだら、埋め込み用ウィジェットスクリプトを生成することで、わずか2分足らずで社内WikiやイントラネットにAIアシスタントを組み込むことが可能です。

Share: