通常のWhisperでは物足りないとき
OpenAIの標準Whisperは音声の文字起こしを十分にこなします。しかし、各単語が正確にいつ発話されたかを把握したい場合、あるいは複数話者の録音で誰が何を言ったかを識別したい場合、ベースモデルでは力不足です。タイムスタンプはせいぜい文節レベルであり、話者分離の機能は一切ありません。
私はクライアントの社内ナレッジベース向けにインタビュー音声を処理しているときに、この限界に突き当たりました。話者を特定した検索可能な文字起こしが必要でした。特定の発言が含まれる段落ではなく、正確なタイムスタンプを指し示せるものが求められていたのです。そこで、利用可能な選択肢を本格的に比較し始めました。
アプローチの比較:どんな選択肢があるか
通常のWhisper(OpenAI)
Whisperのオリジナルモデルです。多くの言語で文字起こしの品質は高いですが、タイムスタンプはセグメントレベル(おおよそ文の区切り)です。話者分離機能はまったくありません。一人の話者の動画字幕程度であれば問題ありませんが、それ以上に複雑な要件があるとすぐに限界が来ます。
WhisperX
WhisperXはWhisperをベースにしたコミュニティプロジェクトで、2つの重要な機能を追加しています。wav2vec2アライメントモデルを使った単語レベルのタイムスタンプのための強制アライメントと、pyannote.audioを使った話者分離です。すべてローカルで動作し、音声がマシン外に出ることはありません。
AssemblyAI / Rev.ai / Deepgram(クラウドAPI)
クラウド音声APIは話者分離や単語タイムスタンプをうまく処理します。ただし、トレードオフも現実的です。音声をサードパーティに送信し、分単位で料金を支払い、相手のデータ保持ポリシーに従わなければなりません。社内会議の10時間分のアーカイブなら、請求書を見るまでもなく、プライバシーの懸念だけで除外されます。
Faster-Whisper
CTranslate2を使ったWhisperの高速な再実装です。スループットが優れており、WhisperXは実際にこれを文字起こしステップで内部的に使用しています。ただし、単独のFaster-Whisperにはアライメントや話者分離のパイプラインは含まれていません。
メリットとデメリット
WhisperX — メリット
- 強制アライメントによる高精度な単語レベルのタイムスタンプ
- 話者数の最小・最大を設定可能な話者分離
- 完全オフライン動作 — 音声が外部サーバーに触れることは一切なし
- GPUアクセラレーション対応(CUDA)、CPUへのフォールバックも利用可能
- 50以上の言語の文字起こしに対応
- 長いファイルでも高いスループットを実現するバッチ処理
WhisperX — デメリット
- pyannoteモデルのダウンロードにHugging Faceアカウントとトークンが必要(初回のみ設定、ローカル動作は変わらず)
- 話者分離が有効な場合、通常のWhisperよりVRAM使用量が多い
- すべての言語にアライメントモデルが用意されているわけではない(グレースフルフォールバックあり)
- 単純な
pip install whisperより設定が複雑 - 話者ラベルは汎用的(SPEAKER_00、SPEAKER_01)— デフォルトでは名前解決なし
話者の識別や正確な単語タイミングが本番環境で必要になると、生の文字起こしはただの出発点にすぎません。ここで説明するパイプラインは、実際の音声処理の多くのユースケースで必要とされる内容をカバーしています。
推奨セットアップ
WhisperXは、最低8GBのRAMを搭載したマシンのPython仮想環境で実行してください。GPUは思った以上に重要です。1時間の録音に対して、large-v2はミドルレンジのCUDA GPU(RTX 3070以上)で約10〜15分で完了します。同じ処理をCPUで行うと60〜90分かかります。対話的な用途ではGPUを使う価値があります。夜間のバッチ処理であればCPUでも十分です。
最小要件:
- Python 3.9以上
- ffmpegのインストールとPATHへの追加
- Hugging Faceアカウント(無料)と
pyannote/speaker-diarization-3.1へのアクセス権 - 8GB以上のRAM(大型モデルには16GB推奨)
- オプション:CUDA 11.8以上対応のNVIDIA GPU
実装ガイド
ステップ1:依存関係のインストール
# 仮想環境を作成して有効化する
python -m venv whisperx-env
source whisperx-env/bin/activate # Linux/macOS
# whisperx-env\Scripts\activate # Windows
# WhisperXをインストール
pip install whisperx
# ffmpegをインストール(Ubuntu/Debian)
sudo apt install ffmpeg
# macOS
brew install ffmpeg
CUDAマシンでは、続行する前にPyTorchのインストールがCUDAバージョンと一致していることを確認してください:
# CUDA 11.8の場合
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
ステップ2:Hugging Faceトークンの取得
WhisperXは話者分離にpyannote.audioを使用しており、pyannoteモデルを使うにはHugging FaceでのUser Agreement(使用許諾)への同意が必要です。huggingface.co/pyannote/speaker-diarization-3.1にアクセスし、「Agree and access repository」をクリックして、huggingface.co/settings/tokensでトークンを発行してください。
ステップ3:単語レベルのタイムスタンプで文字起こし
import whisperx
import json
device = "cuda" # または "cpu"
audio_file = "meeting.mp3"
batch_size = 16 # VRAMが少ない場合は減らす
compute_type = "float16" # CPUまたはVRAMが少ない場合は "int8" を使用
# ステップ1:文字起こし
model = whisperx.load_model("large-v2", device, compute_type=compute_type)
audio = whisperx.load_audio(audio_file)
result = model.transcribe(audio, batch_size=batch_size)
print(result["segments"]) # まだ単語レベルのタイムスタンプのないセグメント
ステップ4:単語レベルのタイムスタンプのための強制アライメント
# ステップ2:Whisperの出力をアライメント
model_a, metadata = whisperx.load_align_model(
language_code=result["language"],
device=device
)
result = whisperx.align(
result["segments"],
model_a,
metadata,
audio,
device,
return_char_alignments=False
)
# 各単語にstart/endタイムスタンプが付く
for segment in result["segments"]:
for word in segment["words"]:
print(f"{word['start']:.2f}s - {word['end']:.2f}s : {word['word']}")
出力は次のようになります:
0.42s - 0.68s : The
0.68s - 1.02s : deployment
1.02s - 1.34s : failed
1.34s - 1.56s : at
1.56s - 1.82s : midnight
ステップ5:話者分離
# ステップ3:話者ラベルを割り当て
HF_TOKEN = "hf_your_token_here"
diarize_model = whisperx.DiarizationPipeline(
use_auth_token=HF_TOKEN,
device=device
)
# オプション:話者数がわかっている場合は指定
diarize_segments = diarize_model(
audio,
min_speakers=2,
max_speakers=4
)
result = whisperx.assign_word_speakers(diarize_segments, result)
# 話者ラベル付きで結果を出力
for segment in result["segments"]:
speaker = segment.get("speaker", "UNKNOWN")
print(f"[{speaker}] {segment['start']:.1f}s: {segment['text']}")
出力例:
[SPEAKER_00] 0.4s: The deployment failed at midnight.
[SPEAKER_01] 3.2s: Did anyone check the rollback logs?
[SPEAKER_00] 7.8s: Yes, the database migration caused a timeout.
ステップ6:JSONまたはSRTへのエクスポート
# 結果全体をJSONとして保存
with open("transcript.json", "w", encoding="utf-8") as f:
json.dump(result["segments"], f, ensure_ascii=False, indent=2)
# 話者ラベル付きのシンプルなSRTを生成
def segments_to_srt(segments, output_path):
with open(output_path, "w", encoding="utf-8") as f:
for i, seg in enumerate(segments, start=1):
start = format_timestamp(seg["start"])
end = format_timestamp(seg["end"])
speaker = seg.get("speaker", "")
text = f"[{speaker}] {seg['text'].strip()}" if speaker else seg["text"].strip()
f.write(f"{i}\n{start} --> {end}\n{text}\n\n")
def format_timestamp(seconds):
h = int(seconds // 3600)
m = int((seconds % 3600) // 60)
s = int(seconds % 60)
ms = int((seconds % 1) * 1000)
return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"
segments_to_srt(result["segments"], "transcript.srt")
CLIスクリプトとしてまとめる
import whisperx, json, sys
def transcribe_full(audio_path, hf_token, device="cpu"):
compute_type = "float16" if device == "cuda" else "int8"
model = whisperx.load_model("large-v2", device, compute_type=compute_type)
audio = whisperx.load_audio(audio_path)
result = model.transcribe(audio, batch_size=8)
model_a, metadata = whisperx.load_align_model(result["language"], device)
result = whisperx.align(result["segments"], model_a, metadata, audio, device)
diarize = whisperx.DiarizationPipeline(use_auth_token=hf_token, device=device)
diarize_segs = diarize(audio)
result = whisperx.assign_word_speakers(diarize_segs, result)
return result["segments"]
if __name__ == "__main__":
segments = transcribe_full(
audio_path=sys.argv[1],
hf_token=sys.argv[2],
device="cuda"
)
print(json.dumps(segments, ensure_ascii=False, indent=2))
実行するには:
python transcribe.py meeting.mp3 hf_your_token_here
本番投入前に知っておくべきこと
話者が重なって話したり、音声品質が低い場合、話者分離の精度が目に見えて低下します。話者交代が明確なクリーンな録音であれば良好に機能します。ノイズの多い環境ではより難しくなります。WhisperXに音声を渡す前に、noisereduceなどを使ったノイズリダクションのステップを先に実行することをお勧めします。
アライメントのステップは処理時間を増やしますが、それだけの価値があります。文節レベルのタイムスタンプは「この段落のどこか」としか教えてくれません。単語レベルのタイムスタンプは「ちょうど4.2秒の地点」と正確に教えてくれます。検索インデックスや文字起こしのナビゲーションにおいて、その精度が大きな違いを生みます。

