Posted inAI

Crawl4AIとPythonで構築するスマートなウェブスクレイパー：6ヶ月間の本番運用レビュー

AI tutorial - IT technology blog
AI tutorial - IT technology blog

従来のウェブスクレイピングの脆弱な現実

従来の手法によるスクレイピングは、非常に壊れやすいものです。長年、私のワークフローは予測可能ではありましたが、消耗の激しいものでした。BeautifulSoupを起動し、入れ子になった <div> タグを3時間も凝視し、開発者がクラス名を ‘product-price’ から ‘item-cost’ に変更した瞬間に壊れてしまうような複雑なCSSセレクターを書いていました。

50以上のScrapyスパイダーを管理したことがある人なら、そのフラストレーションがわかるはずです。ターゲットサイトのUIがわずかに更新されるだけで、午前中が壊れたパイプラインと空のデータベースの対応で潰れてしまいます。ウェブの進化は速く、静的なセレクターでは追いつけないのです。

6ヶ月前、私はLLMベースのアプリケーション構築に転換しました. しかし、すぐに壁に突き当たりました。ボトルネックはAIモデルではなく、そこに流し込むゴミのようなデータでした。生のHTMLはあまりにも乱雑だったのです。

たった一つのニュース記事でも、200KBのボイラープレートコードの中に5KBのテキストが埋もれていることがあります。このノイズはトークンを浪費し、LLMを混乱させます。単なる正規表現ではなく、ページを実際に「読む」ことができるツールが必要でした。そこで、本番環境のスタックをCrawl4AIに移行しました。180日間の重労働を経て、データエンジニアリングのワークフローは劇的な変化を遂げました。

なぜCrawl4AIは標準的なスタックより優れているのか

Crawl4AIは、単なるPlaywrightのラッパーではありません。混沌としたウェブと、大規模言語モデル（LLM）の厳格な要件との間の「翻訳レイヤー」として機能します。ほとんどのスクレイパーはHTMLの干し草の山を渡してきますが、Crawl4AIはクリーンなMarkdownや構造化されたJSONという形で、その中から「針」を見つけ出してくれるのです。

特筆すべき機能は、Extraction Strategy（抽出戦略）です。XPathをハードコーディングする代わりに、データスキーマを定義します。ライブラリはLLMを使用して、そのデータを特定し抽出します。私の経験では、これにより努力の方向が「脆弱なコードの保守」から「明確な自然言語による指示の記述」へとシフトしました。これは実際に機能します。100種類の異なるECサイトのレイアウトで行ったテストランでは、サイト固有のCSSルールを一切使わずに、一つのCrawl4AIスキーマで98%の精度で価格を抽出することに成功しました。

Firecrawlのようなツールも有料サービスとして同様の機能を提供していますが、Crawl4AIはローカルのPythonライブラリです。自前のサーバーで実行できます。つまり、ページごとのAPI費用を回避できるということであり、スケーリングを開始した最初の1ヶ月だけで約450ドルを節約できました。SaaS税を払うことなく、クロールロジックを完全に制御できるのです。

環境のセットアップ

Python 3.9以降が必要です。仮想環境を使用してください。Crawl4AIはブラウザの自動化にPlaywrightを使用するため、最初のpipインストールの後にブラウザのバイナリを別途インストールする必要があります。

# 仮想環境の作成と有効化
python -m venv venv
source venv/bin/activate  # Windowsの場合: venv\Scripts\activate

# ライブラリのインストール
pip install crawl4ai

# 必要なブラウザのダウンロード
crawl4ai-setup

このライブラリはPythonの asyncio に基づいて構築されています。パフォーマンスを確保するために、これは不可欠です。これにより、一つの読み込みの遅い画像に捕まることなく、数十のページを同時に処理することが可能になります。

実践：構造化データの抽出

実践してみましょう。ショップから商品データが必要だとします。<span> タグをマッピングしたくはありません。Pydanticモデルを使用してデータが「何であるか」を定義し、AIに見つけさせます。

1. 基本的なMarkdownスクレイパー

まず、クリーンなテキストを取得しましょう。これは、ノイズのないコンテンツがベクトル埋め込みに不可欠なRAG（検索拡張生成）システムの基盤となります。

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler(verbose=True) as crawler:
        result = await crawler.arun(url="https://example.com/blog-post")
        # 広告を除いた、クリーンで整形されたテキストが得られます
        print(result.markdown)

if __name__ == "__main__":
    asyncio.run(main())

2. LLM戦略によるスマートな抽出

LLMExtractionStrategy こそが魔法の正体です。クローラにスキーマを渡すと、Pythonオブジェクトが返されます。このステップでは、OpenAIのキー、またはLiteLLM経由のローカルプロバイダーが必要です。

import os
import asyncio
from pydantic import BaseModel, Field
from crawl4ai import AsyncWebCrawler
from crawl4ai.extraction_strategy import LLMExtractionStrategy

class ProjectInfo(BaseModel):
    name: str = Field(..., description="プロジェクト名")
    stars: int = Field(..., description="GitHubのスター数")
    description: str = Field(..., description="一行の要約")

async def extract_smart_data():
    strategy = LLMExtractionStrategy(
        provider="openai/gpt-4o",
        api_token=os.getenv("OPENAI_API_KEY"),
        schema=ProjectInfo.schema(),
        extraction_type="schema",
        instruction="このページに掲載されているすべてのオープンソースプロジェクトを抽出してください。"
    )

    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(
            url="https://news.ycombinator.com",
            extraction_strategy=strategy,
            bypass_cache=True
        )
        # 出力はクリーンなJSONオブジェクトのリストになります
        print(result.extracted_content)

if __name__ == "__main__":
    asyncio.run(extract_smart_data())

3. JavaScriptの克服

ReactやVueを多用したサイトは、かつては悪夢でした。Crawl4AIは wait_for パラメータでこれを処理します。特定の要素が表示されるまで待機したり、数秒間一時停止したりするようにクローラに指示できます。これにより、抽出ロジックが実行される前にページが完全にレンダリングされることが保証されます。

現場からのパフォーマンスに関する洞察

1万ページ以上を処理した結果、信頼性を劇的に向上させる3つの設定を見つけました。1つ目は、‘Fit Markdown’ ツールを使用することです。これはヘッダー、フッター、サイドバーをインテリジェントに取り除きます。私のRAGパイプラインでは、これにより1ページあたりの平均トークン数が4,500から1,200に減少しました。入力コストの73%削減です。

2つ目は、キャッシュを信頼することです。Crawl4AIはデフォルトで結果をキャッシュします。同じURLで抽出ロジックをデバッグしている場合、サーバーを二度叩くことはありません。これによりIPがフラグを立てられるのを防ぎ、開発サイクルを大幅に高速化できます。

3つ目は、並行性の管理です。Crawl4AIは強力ですが、不可視ではありません。一つのサーバーに対して50の同時リクエストを浴びせるのは、ブロックされる最短ルートです。セマフォを5または10に設定することから始めるのがお勧めです。ライブラリの速度の恩えるを受けつつ、ターゲットサーバーの制限を尊重しましょう。

最後に

手動でのDOM解析は廃れつつある技術ですが、それは良いことです。AIアプリケーションがより多くのリアルタイムデータを求める中、供給源となるモデルと同じくらいスマートなスクレイピングツールが必要です。Crawl4AIは、私の本番環境において安定し、コスト効率の高い働き者であることを証明しました。

もしあなたがまだ深夜2時にBeautifulSoupのスクリプトをデバッグしているなら、このライブラリを試してみてください。インフラ部分はライブラリが担当してくれるので、機能の開発に集中できます。シンプルなスクリプトから始め、LLMによる抽出をテストし、どれだけ時間を節約できるか確かめてみてください。これが、ウェブデータ収集の新しいスタンダードです。

Share:
Tags: