Kiểm thử LLM với DeepEval: Đo lường Hallucination và Tự động hóa CI/CD trong Python

AI tutorial - IT technology blog
AI tutorial - IT technology blog

Vấn đề thực tế: Những lỗi âm thầm trong các tính năng LLM

Triển khai một tính năng LLM thường mang lại cảm giác thành công mỹ mãn—cho đến khi người dùng thực tế bắt đầu chạm đến các edge case. Các unit test truyền thống kiểm tra dữ liệu đầu vào có thể dự đoán được với kết quả đầu ra chính xác. Truyền 2 + 2, mong đợi 4. Nếu một hàm ném ra ngoại lệ chưa xử lý hoặc trả về mã lỗi 500, test runner sẽ cảnh báo ngay chỉ sau vài giây.

Thế nhưng các mô hình tạo sinh (generative models) lại tước đi tấm lưới an toàn đó. Một lệnh gọi API có thể trả về HTTP 200 kèm JSON chuẩn chỉnh, nhưng nội dung bên trong lại hoàn toàn vô nghĩa. Kết quả trả về có thể tự bịa ra những tính năng không hề tồn tại hoặc ngó lơ hoàn toàn câu hỏi của người dùng.

Chúng tôi đã vấp phải chính xác bức tường này vào quý trước. Đội ngũ của chúng tôi đã tinh gọn một system prompt để giảm 15% độ trễ token. Toàn bộ 240 unit test bằng Pytest đều pass. Hai ngày sau, một khách hàng doanh nghiệp phản ánh rằng chatbot tài liệu của chúng tôi đang tự bịa ra các API endpoint chưa từng tồn tại trong phiên bản 3.x. Code chạy hoàn hảo không tì vết, nhưng ngôn ngữ đầu ra lại âm thầm gặp lỗi nghiêm trọng.

Phân tích nguyên nhân gốc rễ: Vì sao kiểm thử truyền thống bỏ lọt lỗi hồi quy LLM

Các công cụ kiểm thử tiêu chuẩn đều kỳ vọng code có tính tất định (deterministic). LLM vi phạm những giả định đó theo 4 khía cạnh cốt lõi:

  • Đầu ra bất định (Non-deterministic output): Ngay cả khi thiết lập temperature=0.0, mô hình vẫn có thể thay đổi cách diễn đạt giữa các lần chạy. Những câu lệnh assertion so sánh chuỗi cứng nhắc như assert response == expected gần như sẽ fail ngay lập tức.
  • Sắc thái ngữ nghĩa (Semantic nuances): Việc xác định xem câu trả lời có hữu ích hoặc có căn cứ thực tế hay không đòi hỏi ngữ cảnh ngữ nghĩa. Việc tìm kiếm chuỗi con đơn thuần hoặc quy tắc regex không thể đánh giá được tính nhất quán về mặt dữ kiện.
  • Độ lệch prompt và truy xuất (Prompt and retrieval drift): Thay đổi tiền tố prompt, điều chỉnh kích thước chunk vector từ 500 lên 800 token, hoặc đổi model nền tảng đều có thể dẫn đến hiện tượng hallucination trên hàng loạt truy vấn. Không có thay đổi nào trong số này kích hoạt runtime traceback thông thường.
  • Nút thắt cổ chai khi review thủ công: Yêu cầu kỹ sư kiểm tra ngẫu nhiên 50 kết quả trong bảng tính làm kéo dài hàng giờ cho chu kỳ review. Cách này vừa chậm, tốn kém, lại chắc chắn bỏ sót các edge case hiếm gặp.

So sánh các giải pháp: Tìm kiếm chiến lược đánh giá phù hợp

Các đội ngũ kỹ thuật thường áp dụng 3 chiến lược sau để đảm bảo chất lượng LLM:

1. Review thủ công & Bảng tính

Kỹ sư xuất hàng loạt kết quả prompt ra Google Sheets và chấm điểm từng kết quả theo thang từ 1 đến 5. Người đánh giá mang lại trực giác đáng tin cậy, nhưng cách làm này không thể mở rộng quy mô quá vài chục lần lặp. Nó tốn kém, dễ bị ảnh hưởng bởi định kiến cá nhân và không thể tự động chặn một pull request bị lỗi trong build pipeline.

2. Script LLM-as-a-Judge tự viết (Ad-Hoc)

Developer viết các script phụ trợ nhanh yêu cầu một model như gpt-4o đánh giá: “Câu trả lời này có liên quan không? Hãy trả lời CÓ hoặc KHÔNG.” Dù dễ triển khai ban đầu, các script đánh giá tự chế này hiếm khi duy trì được ngưỡng chấm điểm nhất quán giữa các thành viên trong nhóm. Việc quản lý các prompt thô cho nhiều tiêu chí đánh giá khác nhau cũng nhanh chóng trở thành một gánh nặng bảo trì lớn.

3. Framework đánh giá chuyên dụng (DeepEval)

DeepEval tích hợp các chỉ số đánh giá chuẩn production trực tiếp vào Pytest. Framework này cung cấp các metric chuẩn hóa—như Hallucination, Answer Relevancy, Faithfulness và Contextual Precision—đi kèm các ngưỡng điểm đã được hiệu chuẩn. Nếu một chỉnh sửa nhỏ trong prompt làm độ liên quan giảm xuống dưới ngưỡng quy định, quá trình build sẽ báo lỗi hệt như một bài test thông thường bị thất bại.

Triển khai: Thiết lập Quality Gate với DeepEval trong thực tế

Hãy cùng cài đặt DeepEval, viết các bài test mục tiêu cho độ liên quan (relevancy) và hallucination, sau đó tự động thực thi các bước kiểm tra này trên mỗi pull request.

Bước 1: Thiết lập môi trường

Tạo một môi trường ảo (virtual environment) cô lập và cài đặt DeepEval cùng Pytest:

python3 -m venv venv
source venv/bin/activate
pip install deepeval==1.2.0 pytest==8.2.0

DeepEval sử dụng một model đánh giá (mặc định là GPT-4o) để chấm điểm chất lượng đầu ra. Hãy export thông tin xác thực API trong terminal hiện tại của bạn:

export OPENAI_API_KEY="sk-proj-your-api-key"

Bước 2: Kiểm thử độ liên quan của câu trả lời (Answer Relevancy)

AnswerRelevancyMetric chấm điểm xem liệu phản hồi có giải đáp chính xác câu hỏi cụ thể của người dùng hay không, đồng thời đảm bảo không lan man hoặc thêm thắt các tuyên bố không liên quan.

Tạo file tests/test_relevancy.py:

import pytest
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import AnswerRelevancyMetric

def test_answer_relevancy():
    user_input = "Làm cách nào để đặt lại mật khẩu tài khoản của tôi?"
    model_output = (
        "Để đặt lại mật khẩu tài khoản, hãy nhấp vào 'Quên mật khẩu' trên màn hình đăng nhập, "
        "nhập địa chỉ email đã đăng ký và làm theo liên kết được gửi đến hộp thư đến của bạn."
    )
    
    # Điểm số dao động từ 0.0 đến 1.0. Mức 0.7 yêu cầu độ tương thích trực tiếp cao.
    metric = AnswerRelevancyMetric(threshold=0.7)
    
    test_case = LLMTestCase(
        input=user_input,
        actual_output=model_output
    )
    
    assert_test(test_case, [metric])

Chạy bài test thông qua DeepEval CLI runner:

deepeval test run tests/test_relevancy.py

DeepEval sẽ trích xuất các nhận định từ kết quả phản hồi, đối chiếu chúng với truy vấn ban đầu và tính ra điểm số từ 0 đến 1. Nếu điểm số không đạt ngưỡng 0.7, bài test sẽ fail và in ra chi tiết những câu bị gắn cờ là lạc đề.

Bước 3: Đo lường và ngăn chặn Hallucination

Kiểm thử hallucination so sánh câu trả lời của mô hình với các tài liệu nguồn được cung cấp từ tầng truy xuất (retrieval layer). HallucinationMetric kiểm tra xem phản hồi có đưa ra các tuyên bố không được chứng thực bởi các đoạn dữ liệu tham chiếu đó hay không.

Tạo file tests/test_hallucination.py:

import pytest
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import HallucinationMetric

def test_hallucination_guard():
    retrieved_docs = [
        "Chính sách hoàn tiền của chúng tôi cho phép khách hàng yêu cầu hoàn tiền đầy đủ trong vòng 30 ngày kể từ ngày mua hàng.",
        "Tiền hoàn sẽ được chuyển lại vào phương thức thanh toán ban đầu trong vòng 5 đến 7 ngày làm việc."
    ]
    
    user_input = "Tôi có thể nhận tiền hoàn lại bằng tiền mặt tại cửa hàng trực tiếp không?"
    # Mô phỏng phản hồi lỗi đưa ra chính sách không có căn cứ
    faulty_output = (
        "Bạn có thể được hoàn tiền đầy đủ trong vòng 30 ngày. "
        "Chúng tôi cũng hoàn tiền mặt tại bất kỳ địa điểm cửa hàng bán lẻ nào."
    )
    
    # Đối với HallucinationMetric, threshold là điểm hallucination TỐI ĐA có thể chấp nhận.
    # 0.0 yêu cầu không có bất kỳ tuyên bố vô căn cứ nào.
    hallucination_metric = HallucinationMetric(threshold=0.1)
    
    test_case = LLMTestCase(
        input=user_input,
        actual_output=faulty_output,
        context=retrieved_docs
    )
    
    assert_test(test_case, [hallucination_metric])

Thực thi bộ test:

deepeval test run tests/test_hallucination.py

Vì phản hồi đã tự bịa ra chính sách hoàn tiền mặt tại cửa hàng vốn không hề xuất hiện trong context, DeepEval sẽ gán cho nó điểm mâu thuẫn cao (thường khoảng ~0.50). Mức này dễ dàng vượt qua ngưỡng 0.1 và khiến assertion thất bại kèm theo log chẩn đoán chi tiết.

Bước 4: Tích hợp DeepEval vào GitHub Actions CI/CD

Kiểm thử thủ công trong quá trình phát triển rất hữu ích, nhưng tự động hóa liên tục mới là chìa khóa duy trì chất lượng ổn định. Thêm file .github/workflows/llm_eval.yml để chạy các kiểm tra này trên mọi PR trỏ về nhánh main:

name: LLM Evaluation CI

on:
  pull_request:
    branches:
      - main

jobs:
  evaluate-llm:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout mã nguồn repository
        uses: actions/checkout@v4

      - name: Thiết lập Python
        uses: actions/setup-python@v5
        with:
          python-version: '3.11'
          cache: 'pip'

      - name: Cài đặt dependencies
        run: |
          python -m pip install --upgrade pip
          pip install -r requirements.txt
          pip install deepeval pytest

      - name: Chạy DeepEval Quality Gates
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
        run: |
          deepeval test run tests/ --json-report

Khi workflow này vận hành, mọi chỉnh sửa prompt sẽ được kiểm chứng tự động song song với mã nguồn ứng dụng thông thường. Nếu một đồng đội thay đổi hướng dẫn trong prompt hoặc đổi tham số chunking khiến hallucination xuất hiện, GitHub Actions sẽ đánh fail bài kiểm tra ngay. Các phản hồi lỗi sẽ bị chặn lại ngay từ khâu code review—thay vì lộ ra trước mặt khách hàng.

Share: