現場で直面する課題:LLM機能におけるサイレント障害
LLM機能をリリースした瞬間は達成感に満ちていますが、実際のユーザーがエッジケースを踏み始めると状況は一変します。従来のユニットテストは、予測可能な入力に対して厳密な出力を検証するものでした。2 + 2 を渡せば 4 を期待し、関数が未ハンドルの例外を投げたり500エラーを返したりすれば、テストランナーが数秒で検知してくれます。
しかし、生成AIモデルはそのような安全網を無効化してしまいます。API呼び出しがパース可能な正常なJSONとともにHTTP 200を返していても、出力内容自体はデタラメである可能性があるのです。存在しない機能を勝手に作り出したり、ユーザーの質問を完全に無視したりすることもあります。
私たちのチームも前四半期にまさにこの壁にぶつかりました。トークンのレイテンシを15%削減するためにシステムプロンプトを削減し、従来の240件のPytestユニットテストはすべてパスしました。ところが2日後、大口のエンタープライズ顧客から「ドキュメントBotがバージョン3.xには存在しないAPIエンドポイントを捏造(ハルシネーション)している」と指摘されたのです。コード自体は完璧に動作していましたが、生成されたテキストはサイレントに破綻していました。
根本原因の分析:なぜ従来のテストではLLMのリグレッションを見逃すのか
標準的なテストツールは、コードが決定論的(deterministic)に動作することを前提としています。LLMは以下の4つの本質的な側面でその前提を覆します:
- 非決定論的な出力:
temperature=0.0に設定していても、実行ごとにわずかな言い回しの差異が生じることがあります。assert response == expectedのようなハードコードされた文字列アサーションはほぼ即座に失敗します。 - 意味論的なニュアンス: 回答が有益であるか、あるいは事実に根ざしているかを判定するには文脈の理解(セマンティクス)が必要です。単純な部分一致検索や正規表現ルールでは、事実関係の整合性を評価できません。
- プロンプトと検索のドリフト: プロンプトのプレフィックス変更、ベクトルのチャンクサイズ調整(500から800トークンへの変更など)、あるいはベースモデルの差し替えによって、多数のクエリにハルシネーションが混入する可能性があります。しかも、これらの変更がランタイムエラーやスタックトレースを引き起こすことはありません。
- レビューのボトルネック: スプレッドシートにまとめた50件の生成結果をエンジニアに目視確認させると、レビューサイクルに何時間も要することになります。低速でコストがかかるうえ、まれなエッジケースを確実に拾い上げることは困難です。
解決策の比較:最適な評価戦略の選定
LLMの品質を担保するために、開発チームは通常以下の3つのアプローチを検討します:
1. 手動レビューとスプレッドシート
エンジニアがプロンプトの出力をGoogleスプレッドシートに一括エクスポートし、1から5のスケールでスコアリングする方法です。人間のレビュアーによる直感は信頼性が高いものの、数十回以上のイテレーションにはスケールしません。コストが高く、レビュアーごとの主観的バイアスが入り込むほか、ビルドパイプラインで不具合のあるプルリクエストをブロックすることもできません。
2. アドホックなLLM-as-a-Judgeスクリプト
開発者が簡易的なスクリプトを作成し、gpt-4o などのモデルに対して 「この回答は適切ですか?YESまたはNOで答えてください」 と判定させる手法です。素早く実装できる反面、独自の判定スクリプトではチーム間で一貫したスコアリング基準を維持するのが困難です。また、複数の評価基準ごとに生のプロンプトを管理すること自体が、すぐに新たなメンテナンス負担となります。
3. 専用の評価フレームワーク(DeepEval)
DeepEvalは、本番レベルの評価メトリクスをPytestに直接統合できるフレームワークです。ハルシネーション(Hallucination)、回答の関連性(Answer Relevancy)、忠実性(Faithfulness)、文脈の適合度(Contextual Precision)などの標準化されたメトリクスと、調整済みのスコアリングしきい値を提供します。プロンプトの微調整によって関連性スコアが設定値を下回った場合、通常のテスト失敗と同様にビルドを落とすことができます。
実践:DeepEvalによる品質ゲートの実装
実際にDeepEvalをセットアップし、関連性とハルシネーションを検証するテストを作成して、すべてのプルリクエストでこれらのチェックを自動適用してみましょう。
ステップ1:環境構築
独立した仮想環境を作成し、DeepEvalとPytestをインストールします:
python3 -m venv venv
source venv/bin/activate
pip install deepeval==1.2.0 pytest==8.2.0
DeepEvalは出力品質をスコアリングするために評価モデル(デフォルトではGPT-4o)を使用します。現在のアクティブなシェルでAPIキーを設定してください:
export OPENAI_API_KEY="sk-proj-your-api-key"
ステップ2:回答の関連性(Answer Relevancy)のテスト
AnswerRelevancyMetric は、モデルの応答がユーザーの明示的な質問に対して、無駄な脱線や無関係な主張を挟まずに的確に答えているかをスコアリングします。
tests/test_relevancy.py を作成します:
import pytest
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import AnswerRelevancyMetric
def test_answer_relevancy():
user_input = "アカウントのパスワードをリセットするにはどうすればよいですか?"
model_output = (
"アカウントのパスワードをリセットするには、ログイン画面で「パスワードをお忘れの方」をクリックし、"
"登録済みのメールアドレスを入力して、受信トレイに届いたリンクに従って手続きを行ってください。"
)
# スコアの範囲は0.0〜1.0。0.7は質問に対する強い直接的な整合性を要求します。
metric = AnswerRelevancyMetric(threshold=0.7)
test_case = LLMTestCase(
input=user_input,
actual_output=model_output
)
assert_test(test_case, [metric])
DeepEvalのCLIランナーを使ってテストを実行します:
deepeval test run tests/test_relevancy.py
DeepEvalは生成テキストから各言明(ステートメント)を抽出し、元のクエリと照合して0から1の範囲でスコアを算出します。スコアがしきい値の0.7を下回るとテストは失敗し、脱線していると判定された具体的な文行が出力されます。
ステップ3:ハルシネーションの測定と検知
ハルシネーションテストでは、検索レイヤーから提供された元ドキュメントとモデルの回答を照合します。HallucinationMetric は、参照チャンクによって裏付けられていない主張をモデルが行っていないかを検証します。
tests/test_hallucination.py を作成します:
import pytest
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import HallucinationMetric
def test_hallucination_guard():
retrieved_docs = [
"返金ポリシーに基づき、購入から30日以内であれば全額返金をリクエストできます。",
"返金は5〜7営業日以内に元のお支払い方法へ払い戻されます。"
]
user_input = "実店舗で現金の返金を受けることはできますか?"
# 根拠のない独自ポリシーを混入させた、問題のある生成出力をシミュレート
faulty_output = (
"30日以内であれば全額返金が可能です。"
"また、実店舗のどの拠点でも現金での返金を受け付けています。"
)
# HallucinationMetricにおいて、thresholdは許容可能なハルシネーションスコアの「最大値」です。
# 0.0は、根拠のない言明を一切許容しない(ゼロトレランス)ことを意味します。
hallucination_metric = HallucinationMetric(threshold=0.1)
test_case = LLMTestCase(
input=user_input,
actual_output=faulty_output,
context=retrieved_docs
)
assert_test(test_case, [hallucination_metric])
テストスイートを実行します:
deepeval test run tests/test_hallucination.py
コンテキスト内に存在しない「実店舗での現金返金」というポリシーを生成テキストが捏造しているため、DeepEvalは高い矛盾スコア(通常約0.50)を算出します。これにより0.1のしきい値を大幅に超過し、明確な診断ログとともに対象のアサーションが失敗します。
ステップ4:DeepEvalをGitHub Actions CI/CDへ統合
開発中のローカルテストも有用ですが、品質を安定して維持するには継続的な自動化が不可欠です。.github/workflows/llm_eval.yml を追加し、main ブランチに対するすべてのプルリクエストでこれらの検証を実行しましょう:
name: LLM評価CI
on:
pull_request:
branches:
- main
jobs:
evaluate-llm:
runs-on: ubuntu-latest
steps:
- name: リポジトリのチェックアウト
uses: actions/checkout@v4
- name: Pythonのセットアップ
uses: actions/setup-python@v5
with:
python-version: '3.11'
cache: 'pip'
- name: 依存関係のインストール
run: |
python -m pip install --upgrade pip
pip install -r requirements.txt
pip install deepeval pytest
- name: DeepEval品質ゲートの実行
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
run: |
deepeval test run tests/ --json-report
このワークフローを導入すれば、通常のアプリケーションコードと同様にプロンプトの変更も自動検証されます。チームメンバーがプロンプトの指示文を変更したり、ハルシネーションを引き起こすようなチャンキング設定に変更したりしても、GitHub Actionsがその検証を失敗させます。不具合のある出力は、顧客の目に触れる前、コードレビューの段階で確実に捕捉できるのです。

