Khi Whisper Tiêu Chuẩn Không Còn Đủ
OpenAI Whisper tiêu chuẩn làm tốt việc chuyển đổi âm thanh thành văn bản. Nhưng khi bạn cần biết chính xác thời điểm từng từ được nói — hay xác định ai đã nói gì trong một đoạn ghi âm nhiều người — thì model gốc lại không đáp ứng được. Timestamp chỉ ở mức câu là tốt nhất, còn tính năng phân tách người nói thì hoàn toàn không có.
Tôi gặp phải giới hạn này khi xử lý các bản ghi âm phỏng vấn cho cơ sở tri thức nội bộ của một khách hàng. Họ cần transcript có thể tìm kiếm kèm thông tin người nói: thứ có thể trỏ đến đúng timestamp của một phát biểu cụ thể, chứ không chỉ đoạn văn chứa nó. Đó là lúc tôi bắt đầu nghiêm túc so sánh các lựa chọn hiện có.
So Sánh Các Phương Án: Bạn Có Những Lựa Chọn Nào?
Vanilla Whisper (OpenAI)
Model gốc. Chất lượng chuyển đổi rất tốt trên nhiều ngôn ngữ, nhưng timestamp chỉ ở mức đoạn — xấp xỉ ranh giới câu. Không có tính năng phân tách người nói. Cho phụ đề video một người nói thì hoàn toàn ổn. Nhưng với bất kỳ thứ gì phức tạp hơn, bạn sẽ nhanh chóng gặp bế tắc.
WhisperX
WhisperX là một dự án cộng đồng xây dựng trên nền Whisper, bổ sung hai khả năng quan trọng: forced alignment để lấy timestamp cấp độ từ sử dụng các model căn chỉnh wav2vec2, và speaker diarization qua pyannote.audio. Toàn bộ chạy cục bộ — âm thanh không rời khỏi máy bạn.
AssemblyAI / Rev.ai / Deepgram (Cloud APIs)
Các cloud API nhận dạng giọng nói xử lý tốt diarization và timestamp cấp độ từ. Nhưng sự đánh đổi là có thực: bạn đang gửi âm thanh cho bên thứ ba, trả tiền theo phút, và chấp nhận chính sách lưu trữ dữ liệu của họ. Với kho lưu trữ 10 giờ các cuộc họp nội bộ, chỉ riêng vấn đề quyền riêng tư đã loại chúng ra trước khi bạn kịp nhìn vào hóa đơn.
Faster-Whisper
Một bản cài đặt lại Whisper nhanh hơn sử dụng CTranslate2 — thông lượng xuất sắc, và WhisperX thực ra dùng nó bên dưới cho bước chuyển đổi. Tuy nhiên, faster-whisper độc lập không bao gồm pipeline căn chỉnh hoặc diarization.
Ưu và Nhược Điểm
WhisperX — Ưu điểm
- Timestamp cấp độ từ với độ chính xác cao qua forced alignment
- Speaker diarization với số lượng người nói tối thiểu/tối đa có thể cấu hình
- Hoàn toàn offline — âm thanh không bao giờ chạm server bên ngoài
- Hỗ trợ tăng tốc GPU (CUDA), có thể dùng CPU thay thế
- Chuyển đổi hỗ trợ 50+ ngôn ngữ
- Xử lý hàng loạt để tăng thông lượng cho file dài
WhisperX — Nhược điểm
- Yêu cầu tài khoản và token Hugging Face để tải model pyannote (thiết lập một lần, vẫn chạy cục bộ)
- Dùng nhiều VRAM hơn Whisper tiêu chuẩn khi diarization đang hoạt động
- Model căn chỉnh không có sẵn cho mọi ngôn ngữ (tự động fallback gracefully)
- Thiết lập phức tạp hơn so với
pip install whisperđơn giản - Nhãn người nói là generic (SPEAKER_00, SPEAKER_01) — không tự động nhận diện tên
Khi bạn cần gán người nói hoặc thời gian chính xác cấp độ từ trong môi trường production, chuyển đổi thô chỉ là điểm khởi đầu. Pipeline mô tả ở đây bao gồm những gì hầu hết các công việc xử lý âm thanh thực tế thực sự cần.
Cấu Hình Khuyến Nghị
Chạy WhisperX trong môi trường ảo Python trên máy có ít nhất 8GB RAM. GPU quan trọng hơn bạn nghĩ: với bản ghi âm 1 giờ, model large-v2 hoàn thành trong khoảng 10–15 phút trên GPU CUDA tầm trung (RTX 3070 trở lên). Công việc tương tự trên CPU mất 60–90 phút. Cho sử dụng tương tác, GPU đáng để đầu tư. Cho xử lý hàng loạt qua đêm, CPU hoàn toàn ổn.
Yêu cầu tối thiểu:
- Python 3.9+
- ffmpeg đã cài đặt và có trong PATH
- Tài khoản Hugging Face (miễn phí) với quyền truy cập vào
pyannote/speaker-diarization-3.1 - 8GB+ RAM (khuyến nghị 16GB cho model lớn)
- Tùy chọn: GPU NVIDIA với CUDA 11.8+
Hướng Dẫn Triển Khai
Bước 1: Cài Đặt Dependencies
# Tạo và kích hoạt môi trường ảo
python -m venv whisperx-env
source whisperx-env/bin/activate # Linux/macOS
# whisperx-env\Scripts\activate # Windows
# Cài đặt WhisperX
pip install whisperx
# Cài đặt ffmpeg (Ubuntu/Debian)
sudo apt install ffmpeg
# macOS
brew install ffmpeg
Trên máy CUDA, hãy kiểm tra phiên bản PyTorch của bạn khớp với phiên bản CUDA trước khi tiếp tục:
# Cho CUDA 11.8
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
Bước 2: Lấy Token Hugging Face
WhisperX dùng pyannote.audio cho diarization, và các model pyannote yêu cầu chấp nhận thỏa thuận người dùng trên Hugging Face. Truy cập huggingface.co/pyannote/speaker-diarization-3.1, nhấn “Agree and access repository”, rồi tạo token tại huggingface.co/settings/tokens.
Bước 3: Chuyển Đổi với Timestamp Cấp Độ Từ
import whisperx
import json
device = "cuda" # hoặc "cpu"
audio_file = "meeting.mp3"
batch_size = 16 # giảm xuống nếu VRAM thấp
compute_type = "float16" # dùng "int8" cho CPU hoặc VRAM thấp
# Bước 1: Chuyển đổi giọng nói thành văn bản
model = whisperx.load_model("large-v2", device, compute_type=compute_type)
audio = whisperx.load_audio(audio_file)
result = model.transcribe(audio, batch_size=batch_size)
print(result["segments"]) # Các đoạn chưa có timestamp cấp độ từ
Bước 4: Forced Alignment để Lấy Timestamp Cấp Độ Từ
# Bước 2: Căn chỉnh đầu ra whisper
model_a, metadata = whisperx.load_align_model(
language_code=result["language"],
device=device
)
result = whisperx.align(
result["segments"],
model_a,
metadata,
audio,
device,
return_char_alignments=False
)
# Mỗi từ giờ đây có timestamp bắt đầu/kết thúc
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['start']:.2f}s - {word['end']:.2f}s : {word['word']}")
Đầu ra trông như sau:
0.42s - 0.68s : The
0.68s - 1.02s : deployment
1.02s - 1.34s : failed
1.34s - 1.56s : at
1.56s - 1.82s : midnight
Bước 5: Speaker Diarization
# Bước 3: Gán nhãn người nói
HF_TOKEN = "hf_your_token_here"
diarize_model = whisperx.DiarizationPipeline(
use_auth_token=HF_TOKEN,
device=device
)
# Tùy chọn: cung cấp số lượng người nói nếu biết
diarize_segments = diarize_model(
audio,
min_speakers=2,
max_speakers=4
)
result = whisperx.assign_word_speakers(diarize_segments, result)
# In kết quả kèm nhãn người nói
for segment in result["segments"]:
speaker = segment.get("speaker", "UNKNOWN")
print(f"[{speaker}] {segment['start']:.1f}s: {segment['text']}")
Ví dụ đầu ra:
[SPEAKER_00] 0.4s: The deployment failed at midnight.
[SPEAKER_01] 3.2s: Did anyone check the rollback logs?
[SPEAKER_00] 7.8s: Yes, the database migration caused a timeout.
Bước 6: Xuất Ra JSON hoặc SRT
# Lưu kết quả đầy đủ dưới dạng JSON
with open("transcript.json", "w", encoding="utf-8") as f:
json.dump(result["segments"], f, ensure_ascii=False, indent=2)
# Tạo file SRT đơn giản kèm nhãn người nói
def segments_to_srt(segments, output_path):
with open(output_path, "w", encoding="utf-8") as f:
for i, seg in enumerate(segments, start=1):
start = format_timestamp(seg["start"])
end = format_timestamp(seg["end"])
speaker = seg.get("speaker", "")
text = f"[{speaker}] {seg['text'].strip()}" if speaker else seg["text"].strip()
f.write(f"{i}\n{start} --> {end}\n{text}\n\n")
def format_timestamp(seconds):
h = int(seconds // 3600)
m = int((seconds % 3600) // 60)
s = int(seconds % 60)
ms = int((seconds % 1) * 1000)
return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"
segments_to_srt(result["segments"], "transcript.srt")
Gộp Tất Cả Thành Script CLI
import whisperx, json, sys
def transcribe_full(audio_path, hf_token, device="cpu"):
compute_type = "float16" if device == "cuda" else "int8"
model = whisperx.load_model("large-v2", device, compute_type=compute_type)
audio = whisperx.load_audio(audio_path)
result = model.transcribe(audio, batch_size=8)
model_a, metadata = whisperx.load_align_model(result["language"], device)
result = whisperx.align(result["segments"], model_a, metadata, audio, device)
diarize = whisperx.DiarizationPipeline(use_auth_token=hf_token, device=device)
diarize_segs = diarize(audio)
result = whisperx.assign_word_speakers(diarize_segs, result)
return result["segments"]
if __name__ == "__main__":
segments = transcribe_full(
audio_path=sys.argv[1],
hf_token=sys.argv[2],
device="cuda"
)
print(json.dumps(segments, ensure_ascii=False, indent=2))
Chạy với:
python transcribe.py meeting.mp3 hf_your_token_here
Một Vài Điều Cần Biết Trước Khi Triển Khai
Độ chính xác diarization giảm đáng kể khi người nói bị chồng lên nhau hoặc chất lượng âm thanh kém. Bản ghi âm sạch với lượt nói rõ ràng hoạt động tốt. Môi trường ồn ào phức tạp hơn — hãy chạy bước giảm nhiễu trước với thứ gì đó như noisereduce trước khi đưa âm thanh vào WhisperX.
Bước căn chỉnh thêm thời gian xử lý, nhưng hoàn toàn xứng đáng. Timestamp cấp độ câu cho bạn biết “đâu đó trong đoạn này”. Timestamp cấp độ từ cho bạn biết “chính xác ở giây thứ 4.2”. Với việc lập chỉ mục tìm kiếm hoặc điều hướng transcript, độ chính xác đó thay đổi hoàn toàn mọi thứ.
