PluggyでPythonアプリを拡張する:Pytestのようなプラグインアーキテクチャを構築する方法

Programming tutorial - IT technology blog
Programming tutorial - IT technology blog

3,000行のモノリスという悪夢

キャリアの初期、私はシンプルなスクリプトから始まったデータ処理エンジンを引き継ぎました。それはCSVファイルを扱い、基本的なバリデーションを行い、レコードをデータベースに保存するだけのものでした。しかし、会社がスケールするにつれ、その「シンプル」だった要件も肥大化していきました。「Parquet形式はサポートできるか?」「失敗時にSlack通知を飛ばせるか?」「財務チームが独自の税計算ステップを必要としている」といったリクエストが次々と舞い込んできたのです。

私は多くの開発者が陥る罠にはまりました。if-elseブロックを多用したのです. 数ヶ月のうちに、コアロジックは条件分岐の山に埋もれてしまいました。チームメイトが些細な機能を追加しようとするたびに、コアエンジンを修正しなければならなくなりました。その結果、意図しない不具合が発生し、4時間に及ぶマージコンフリクトが起き、金曜日の午後にデプロイすることを本気で恐れるようになりました。

根本原因:密結合と「閉鎖世界」の仮定

問題はコードの質ではなく、その根底にあるアーキテクチャにありました。そのシステムは、コアエンジンがあらゆる拡張の可能性を事前に知っていなければならない「閉鎖世界(closed-world)」設計に従っていたのです。メインの実行フローにロジックをハードコードすると、密結合が生じます。SlackのAPIが変更されれば、エンジン全体を再デプロイする必要があります。新しいファイルフォーマットを追加すれば、安定しているはずのコアロジックを危険にさらすことになります。

拡張可能なソフトウェアには「開放世界(open-world)」設計が必要です。このモデルでは、コアは「フック」やエントリポイントを提供し、拡張機能は独立して存在します。Pytestを例に考えてみましょう。Pytestは、メンテナがコアリポジトリに手を加えることなく、1,200以上のサードパーティプラグインをサポートしています。それこそが目指すべき疎結合のレベルです。

拡張戦略の比較

ツールを選ぶ前に、Pythonコードを拡張可能にするいくつかの方法を評価しました:

  • クラスのオーバーライド: 小さなスクリプトには有効ですが、5つの異なるチームからの5つの異なる拡張機能を組み合わせる必要がある場合には機能しません。
  • 動的インポート(importlib): /plugins フォルダをスキャンして .py ファイルを探すことができます。しかし、それらのモジュール間のライフサイクルや通信を管理するために、大量のボイラープレートコードを書くことになります。
  • エントリポイント(setuptools): パッケージ発見のための確かな標準ですが、それらのパッケージが実際にロジックとどのように相互作用するかまでは定義されていません。

Pluggy はこのギャップを埋めてくれます. PytestやToxのバックボーンとして、「フック(Hook)」パターンを形式化しています。これにより、最小限のオーバーヘッドで仕様(コントラクト)と実装(プラグイン)を定義できます。

Pluggyによる設計:実践的なアプローチ

Pluggyは中央集権的なレジストリとして機能します。ルールを設定するための Hookspecs と、機能を提供するための Hookimpls を定義します。本番環境では、これによりチームは機能を個別のPythonパッケージとして提供し、コアエンジンが実行時にそれらを発見できるようになります。

1. 環境のセットアップ

まずはpipを使ってライブラリをインストールします:

pip install pluggy

2. フック仕様(Hook Specification)の定義

Hookspecをコントラクト(契約)と考えてください。これはプラグインの作者に対し、システムに受け入れられるためにその関数がどのような形式であるべきかを正確に伝えます。

import pluggy

# プロジェクト固有の名前空間を作成
hookspec = pluggy.HookspecMarker("my_app")
hookimpl = pluggy.HookimplMarker("my_app")

class MySpecs:
    @hookspec
    def pre_process_data(self, data):
        """データを処理する前に修正するためのフック"""

    @hookspec
    def post_process_report(self, report_name):
        """レポート生成後に処理を行うためのフック"""

3. プラグイン実装の作成

プラグインの作成は簡単です。hookimpl マーカーでデコレートされた関数を含むクラスやモジュールは、すべてプラグインとして機能します。

class LoggingPlugin:
    @hookimpl
    def pre_process_data(self, data):
        print(f"[ログ] {len(data)} 件のレコードを分析中")

class TransformationPlugin:
    @hookimpl
    def pre_process_data(self, data):
        # すべてのレコードに処理タイムスタンプを注入
        for item in data:
            item['processed_at'] = "2023-10-27"
        return data

4. オーケストレーター(プラグインマネージャー)

PluginManager はアプリケーションの頭脳として機能します。プラグインを登録し、実行フローの中で必要になった時にフックをトリガーします。

def run_app():
    # 1. マネージャーの初期化
    pm = pluggy.PluginManager("my_app")
    
    # 2. 仕様の登録
    pm.add_hookspecs(MySpecs)
    
    # 3. プラグインの登録(実際のアプリでは自動検出も可能)
    pm.register(LoggingPlugin())
    pm.register(TransformationPlugin())

    # 4. フックの実行
    my_data = [{"id": 101}, {"id": 102}]
    
    # これにより、登録されたすべてのプラグインで 'pre_process_data' が実行される
    pm.hook.pre_process_data(data=my_data)
    
    print("コア:プラグインによるデータ操作が完了しました。")

run_app()

高度なフックパターン

すべてのプラグインを実行したくない場合もあります。Pluggyは、結果をどのように収集するかを細かく制御できます。

「First Result」パターン

複数のディレクトリから設定ファイルを探しているとします。最初に見つかった有効なパスだけが必要です。仕様を設定して、最初の成功したリターンがあった直後に実行を停止させることができます:

@hookspec(firstresult=True)
def load_config(self, path):
    """None以外の結果を返した最初のプラグインで実行を停止する"""

履歴実行(Historical Execution)

Pluggyは「履歴(historic)」フックもサポートしています。これにより、イベントが実際に発生したに登録されたプラグインであっても、そのイベントを受け取ることができます。モジュールが異なる速度でロードされる複雑な起動シーケンスに最適です。

なぜこれがDevOpsとスケーリングにおいて重要なのか

コアエンジンを拡張機能から切り離すことは、CI/CDパイプラインを根本から変えます。Pluggyを使用することで、運用上のいくつかの利点が得られます:

  • テストの分離: シンプルな「モック」プラグインを使用してコアエンジンを検証し、複雑なプラグインは完全に分離してテストできます。
  • より安全なデプロイ: 新しい「Slack通知」プラグインを別個のパッケージとしてリリースできます。もしクラッシュしても、データ処理ロジックに触れることなくロールバックが可能です。
  • 迅速な貢献: 社内チームが独自のPythonパッケージをリリースすることで機能を追加できます。これにより、コアリポジトリで500行に及ぶ巨大なプルリクエストをレビューする必要がなくなります。
  • 動的な機能切り替え: 機能を無効にするには、pm.unregister(plugin_name) を呼び出すだけで済みます。

最後に

プラグインシステムを構築することは、複雑さを増すことではなく、境界を尊重することです。Pluggyを採用することで、Pythonエコシステムで最も成功しているツールを支える、実績のあるパターンを利用できます。まずはアプリの中で最も頻繁に変更される部分を特定することから始めましょう。そこがフックの第一候補です。その流動的なロジックをプラグインに移動させれば、コアのコードベースはよりクリーンで安定し、メンテナンスが劇的に容易になるはずです。

Share: