Posted inAI

Đánh giá Hệ thống RAG với Ragas: Hướng dẫn Tự động hóa Đo lường Faithfulness và Context Relevance

AI tutorial - IT technology blog
AI tutorial - IT technology blog

Triển khai một hệ thống Retrieval-Augmented Generation (RAG) lên production mới chỉ là bước khởi đầu. Những cơn đau đầu thực sự thường ập đến sau đó một tuần. Người dùng bắt đầu báo cáo các lỗi ảo giác (hallucination) tinh vi, hoặc các kỹ sư nhận thấy câu trả lời âm thầm mâu thuẫn với runbook nội bộ. Việc phát hiện thủ công các đợt hồi quy (regression) này gần như là bất khả thi khi bạn phải xử lý tới 5.000 truy vấn mỗi ngày.

Bạn cần các hàng rào bảo vệ (guardrails) định lượng được. Ragas (Retrieval Augmented Generation Assessment) giải quyết bài toán này bằng cách sử dụng framework LLM-as-a-judge. Công cụ sẽ tự động chấm điểm chất lượng truy xuất và độ chính xác của câu trả lời được sinh ra, giúp đội ngũ kỹ sư tiết kiệm hàng chục giờ kiểm tra log thủ công.

Bắt đầu Nhanh (5 Phút)

Bạn có thể đo lường baseline của mình chỉ trong chưa đầy năm phút. Tất cả những gì bạn cần là Python 3.10+, một OpenAI API key (hoặc bất kỳ endpoint nào tương thích với OpenAI), cùng một vài mẫu tương tác thực tế: câu hỏi, các đoạn ngữ cảnh được truy xuất và câu trả lời được sinh ra.

Trước tiên, hãy cài đặt các thư viện cốt lõi:

pip install ragas langchain-openai datasets

Tiếp theo, tạo một script đánh giá tối giản. Ragas yêu cầu một dataset chứa các câu truy vấn, các đoạn tài liệu được truy xuất, câu trả lời do mô hình sinh ra và dữ liệu tham chiếu chuẩn (ground-truth):

import os
from datasets import Dataset
from ragas import evaluate
from ragas.metrics import faithfulness, context_precision

os.environ["OPENAI_API_KEY"] = "your-openai-api-key"

# Dữ liệu log mẫu thu thập từ dịch vụ RAG của bạn
eval_data = {
    "question": [
        "Cấu hình sao lưu cụm được lưu trữ ở đâu?",
        "Ngưỡng timeout cho các cuộc gọi service mesh nội bộ là bao nhiêu?"
    ],
    "contexts": [
        ["Mọi lịch trình sao lưu và đích lưu trữ đều được cấu hình tại /etc/backup/cluster-spec.yaml."],
        ["Các yêu cầu HTTP đi qua Envoy sidecar sử dụng thời gian chờ kết nối mặc định là 5 giây."]
    ],
    "answer": [
        "Cấu hình sao lưu cụm nằm trong /etc/backup/cluster-spec.yaml.",
        "Ngưỡng thời gian chờ là 15 giây trên tất cả các mesh sidecar."
    ],
    "ground_truth": [
        "/etc/backup/cluster-spec.yaml",
        "5 giây"
    ]
}

dataset = Dataset.from_dict(eval_data)

# Chạy đánh giá cho Faithfulness và Context Precision
results = evaluate(
    dataset=dataset,
    metrics=[faithfulness, context_precision]
)

print(results.to_pandas()[["question", "faithfulness", "context_precision"]])

Khi chạy script này, Ragas sẽ đối chiếu từng câu trả lời với ngữ cảnh được truy xuất trước khi trả về điểm số từ 0.0 đến 1.0. Hãy nhìn vào dòng thứ hai trong kết quả: Điểm faithfulness tụt thẳng xuống 0.0 vì mô hình đã tự ảo giác ra con số 15 giây, trong khi ngữ cảnh nêu rõ ràng là 5 giây.

Đi Sâu Phân Tích: Hiểu Rõ Faithfulness và Context Precision

Mỗi pipeline RAG đều phân chia khối lượng công việc giữa hai thành phần: retriever (truy xuất) và generator (sinh văn bản). Khi câu trả lời kém chất lượng lọt ra ngoài, một trong hai thành phần này có thể là nguyên nhân chính. Việc đánh giá độc lập từng phần sẽ tránh việc mất thời gian dò tìm mù quáng.

1. Faithfulness (Chất lượng Bộ sinh – Generator)

Faithfulness đo lường mức độ tuân thủ thực tế: liệu LLM có bám sát tài liệu của bạn hay không, hay nó đang tự bịa ra các dữ kiện ảo từ bộ nhớ pre-training? Điểm faithfulness thấp phản ánh trực tiếp tình trạng ảo giác.

Ragas chấm điểm này thông qua quy trình hai bước rõ ràng:

  • Trích xuất Nhận định (Claim Extraction): LLM giám khảo (judge) sẽ chia nhỏ câu trả lời được sinh ra thành các nhận định riêng biệt, có thể kiểm chứng được.
  • Xác minh Kéo theo (Entailment Verification): Giám khảo kiểm tra từng nhận định với các đoạn văn bản được truy xuất để xem liệu ngữ cảnh có thực sự hỗ trợ trực tiếp cho khẳng định đó hay không.

Công thức tính rất trực quan:

Faithfulness = (Số nhận định được ngữ cảnh hỗ trợ) / (Tổng số nhận định được sinh ra)

Giả sử trợ lý ảo của bạn đưa ra ba luận điểm kỹ thuật. Nếu đoạn ngữ cảnh chỉ xác nhận được hai luận điểm còn luận điểm thứ ba không có căn cứ, điểm faithfulness sẽ dừng ở mức chính xác là 0.67.

2. Context Precision và Relevance (Chất lượng Bộ truy xuất – Retriever)

Context Precision đo lường tỷ lệ tín hiệu trên nhiễu (signal-to-noise ratio): liệu retriever của bạn có đưa các đoạn trích liên quan lên đầu danh sách kết quả hay không, hay nó vùi lấp chúng dưới một đống dữ liệu rác không liên quan?

Kết quả vector quá cồng kềnh sẽ gây ra hai vấn đề vận hành phổ biến:

  1. Chi phí token tăng vọt. Việc nhồi nhét 8.000 token không liên quan vào mỗi prompt sẽ ngốn ngân sách rất nhanh.
  2. LLM mất tập trung. Các mô hình thường bỏ sót các dữ kiện quan trọng khi thông tin thực sự cần thiết bị kẹp giữa những đoạn văn dài vô thưởng vô phạt.

Ragas đánh giá các chunk bằng cách kiểm tra xem các câu trong từng đoạn trích có thực sự cung cấp thông tin trực tiếp cho câu hỏi hay không. Nếu retriever trả về 1.200 từ tài liệu mạng nhưng chỉ có đúng hai dòng chứa dải IP CIDR cần tìm, context precision sẽ sụt giảm. Việc điều chỉnh kích thước chunk (chunk size), tinh chỉnh trọng số hybrid search hoặc bổ sung một cross-encoder reranker sẽ kéo con số này tăng trở lại ngay lập tức.

Sử Dụng Nâng Cao: Tùy Biến Judge Model và Tích Hợp CI/CD

Các endpoint đám mây mặc định rất phù hợp cho các thử nghiệm nhanh tại local. Tuy nhiên, các quy định tuân thủ bảo mật của doanh nghiệp hoặc các đợt đánh giá quy mô lớn trên 10.000 truy vấn thường đòi hỏi các mô hình nội bộ. Bạn hoàn toàn có thể định tuyến các tác vụ đánh giá về hạ tầng riêng bằng cách sử dụng các wrapper client tiêu chuẩn của LangChain.

Chuyển Sang Mô Hình Giám Khảo Tự Host (Self-Hosted Judge)

Dưới đây là cách cấu hình một gateway vLLM hoặc LiteLLM cục bộ đang host mô hình mã nguồn mở như Llama 3.1 70B:

from langchain_openai import ChatOpenAI
from ragas.llms import LangchainLLMWrapper
from ragas.metrics import Faithfulness, ContextPrecision
from ragas import evaluate

# Kết nối tới một instance vLLM hoặc LiteLLM nội bộ
custom_llm = ChatOpenAI(
    model="meta-llama/Meta-Llama-3.1-70B-Instruct",
    base_url="http://internal-vllm.infra.local:8000/v1",
    api_key="dummy-token"
)

judge_llm = LangchainLLMWrapper(custom_llm)

# Gán trực tiếp judge tùy biến vào từng metric
faithfulness_metric = Faithfulness(llm=judge_llm)
precision_metric = ContextPrecision(llm=judge_llm)

results = evaluate(
    dataset=dataset,
    metrics=[faithfulness_metric, precision_metric]
)

Tự Động Hóa Quality Gate Trong CI Pipeline

Các chỉ số định lượng trở nên cực kỳ vô giá khi bạn refactor code truy xuất. Khi chúng tôi chuyển dịch vụ ingestion từ các chunk cứng 500 token sang semantic chunking, bộ test tự động đã ngay lập tức cảnh báo mức sụt giảm 18% của context precision. Nhờ đó, chúng tôi đã phát hiện và khắc phục lỗi hồi quy này từ rất lâu trước khi triển khai lên môi trường staging.

Bạn có thể chạy script đánh giá này bên trong GitHub Actions workflow để tự động chặn các lỗi hồi quy:

# eval_gate.py
import sys
from datasets import load_from_disk
from ragas import evaluate
from ragas.metrics import faithfulness, context_precision

test_dataset = load_from_disk("./tests/fixtures/rag_golden_dataset")
results = evaluate(test_dataset, metrics=[faithfulness, context_precision])

avg_faithfulness = results["faithfulness"]
avg_precision = results["context_precision"]

print(f"Faithfulness: {avg_faithfulness:.2f} | Context Precision: {avg_precision:.2f}")

# Thiết lập ngưỡng chất lượng để cho phép triển khai
if avg_faithfulness < 0.85 or avg_precision < 0.75:
    print("Kiểm tra chất lượng thất bại: Điểm số dưới ngưỡng cho phép trên production.")
    sys.exit(1)

print("Kiểm tra chất lượng thành công. Tiếp tục tiến trình triển khai.")
sys.exit(0)

Kinh Nghiệm Thực Chiến Khi Vận Hành Ragas ở Quy Mô Lớn

Tự động hóa benchmark RAG trên các tập dữ liệu thử nghiệm lớn luôn tiềm ẩn những cạm bẫy thực tế. Hãy ghi nhớ các lưu ý vận hành sau:

  • Xây dựng golden set từ 50 đến 100 câu hỏi: Đừng chỉ dùng các kịch bản thuận lợi (happy paths) được tạo nhân tạo. Hãy đưa vào các truy vấn cần suy luận nhiều bước (multi-hop), cách diễn đạt bằng ngôn ngữ giao tiếp đời thường và các prompt ngoài phạm vi kiến thức mà mô hình bắt buộc phải từ chối trả lời.
  • Cache các câu phản hồi đã sinh của mô hình: Ragas kích hoạt nhiều lượt gọi đánh giá cho mỗi dòng dữ liệu. Nếu bạn chỉ đang benchmark các thay đổi của retriever, hãy load lại các phản hồi đã được cache của generator để tránh phát sinh chi phí gọi API không cần thiết.
  • Tránh sử dụng các judge model quá nhỏ: Các mô hình dưới 13B tham số thường gặp nhiều khó khăn với các tác vụ suy luận logic mang tính kéo theo (entailment). Hãy ưu tiên các mô hình có từ 70B tham số trở lên hoặc các kiến trúc MoE 8x7B đã được kiểm chứng để đảm bảo điểm số có tính tái lập cao.
  • Chẩn đoán đúng nguyên nhân gốc rễ trước khi sửa prompt: Context precision cao đi kèm faithfulness thấp cho thấy system prompt của bạn chưa tốt. Ngược lại, nếu context precision thấp, hãy dừng việc viết lại prompt; thay vào đó hãy tinh chỉnh chiến lược chunking, độ sâu top-k khi truy xuất hoặc tối ưu lại embedding index.
Share:
Tags: