導入の背景と理由:CronJobと重量級CIエンジンからの脱却
多くのエンジニアリングチームは、標準的なKubernetesのCronJobマニフェストや専用のJenkinsジョブといったシンプルな方法でバッチ処理を始めます。午前2時のデータベースバキューム実行や単一ステップのデータ同期程度であれば、この構成でも問題なく動作します。しかし、パイプラインが複数のステージに分かれたETLへと発展すると、運用の破綻はあっという間に訪れます。
KubernetesのCronJobは単一のPodを独立して実行するため、前後のタスクの依存関係を把握する仕組みが一切ありません。タスクBの実行にタスクAの正常終了が必須である場合や、タスクCが20並列のワーカーPodの完了を待機する必要がある場合、CronJob単体では手詰まりになります。
その結果、Redisロック用のスクリプト、ポーリングループ、不安定なWebhookコールバックなどを無理やり組み合わせたワークアラウンドに頼らざるを得なくなります。かといって、これらのデータ処理ワークロードをJenkinsやGitLab CIに任せるのも根本的な解決にはなりません。JenkinsのJVMランナーはアイドル状態でも2〜4GBのメモリを平然と消費し、動的なKubernetesエージェントの協調動作はプラグインの同期エラーや不要なノードプールの過剰拡張を頻繁に引き起こします。
Argo Workflowsは、Kubernetesネイティブなカスタムリソース定義(CRD)によってこれらの回避策を過去のものにします。パイプライン内の各ステップは独立したPodとして実行され、ステップが完了するとコンテナは即座に終了して、他のワークロードのためにCPUとメモリを解放します。
ワークフローは有向非巡回グラフ(DAG)として宣言されるため、外部ロックを使わずに依存関係のないブランチを並列実行できます。毎日40本のバッチジョブを移行した本番環境の実例では、このアーキテクチャによりクラスタのコンピュートコストを約35%削減し、夜間ETLの実行時間を3.5時間から50分へと大幅に短縮できました。
インストール:Argo Workflowsの推奨セットアップ
正常に稼働しているKubernetesクラスタ(v1.26以降)と、cluster-admin権限を持つkubectlが必要です。
1. ネームスペースの作成とコアリソースのデプロイ
ワークフローコントローラーと関連サービスを専用のネームスペースに分離します。公式マニフェストを使用して、コントローラー、UIサーバー、および必要なCRDをデプロイします。
# 専用ネームスペースの作成
kubectl create namespace argo
# Argo Workflowsコントローラー、UIサーバー、CRDのデプロイ
kubectl apply -n argo -f https://github.com/argoproj/argo-workflows/releases/download/v3.5.5/quick-start-minimal.yaml
2. パイプラインPod用RBAC権限の設定
ワークフローの各ステップはPodとして動作し、それらのPodは実行状態をワークフローコントローラーに報告するための権限を必要とします。デフォルトのServiceAccountにはこの権限がないため、対象ネームスペース内に専用のServiceAccountを作成し、適切な権限をバインドします。
kubectl create serviceaccount argo-runner -n default
kubectl create rolebinding argo-runner-admin \
--clusterrole=admin \
--serviceaccount=default:argo-runner \
--namespace=default
テスト目的であればadmin権限の付与で問題ありませんが、厳格に管理された本番クラスタでは、必要なConfigMap、Secret、Podアーティファクトへのアクセスのみを許可する最小権限のRoleに置き換えてください。
3. Argo CLIのインストール
ワークフローの状態はkubectl get wfでも確認できますが、専用のArgo CLIを使用することでデバッグ作業が格段に容易になります。シェルの上でリアルタイムのログストリーミング、アーティファクトの検査、ASCIIグラフィックスによる視覚的なグラフ表示が可能です。
# Linux x86_64バイナリのダウンロード
curl -sLO https://github.com/argoproj/argo-workflows/releases/download/v3.5.5/argo-linux-amd64.gz
# 解凍してPATHの通ったディレクトリへ配置
gunzip argo-linux-amd64.gz
chmod +x argo-linux-amd64
sudo mv argo-linux-amd64 /usr/local/bin/argo
# インストールの確認
argo version --short
設定:並列DAGパイプラインの設計
シーケンシャルなパイプラインはクラスタリソースを無駄にします。DAGワークフローでは、入力データが利用可能になった瞬間に依存関係のないステップがトリガーされ、処理準備の整ったすべてのクラスタノードに重い計算処理が分散されます。
本番向けDAGワークフローの定義
以下のマニフェストをparallel-dag-pipeline.yamlとして保存します。このワークフローは、未加工のレコードを取得し、2つの並列アナリティクスワーカーに処理を分岐(ファンアウト)させ、最後に計算結果をマージしてサマリーを出力します。
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
generateName: distributed-analytics-dag-
namespace: default
spec:
entrypoint: analytics-pipeline
serviceAccountName: argo-runner
templates:
- name: analytics-pipeline
dag:
tasks:
- name: fetch-raw-data
template: data-fetcher
# 並列ステップA: 生データの準備が整い次第実行
- name: compute-user-metrics
dependencies: [fetch-raw-data]
template: processor
arguments:
parameters:
- name: job-type
value: "user-metrics"
# 並列ステップB: ステップAと並行して実行
- name: compute-billing-metrics
dependencies: [fetch-raw-data]
template: processor
arguments:
parameters:
- name: job-type
value: "billing-metrics"
# 集計ステップ: 両ワーカーの完了まで待機して実行
- name: generate-summary-report
dependencies: [compute-user-metrics, compute-billing-metrics]
template: reporter
# タスクテンプレート定義
- name: data-fetcher
container:
image: alpine:3.19
command: [sh, -c]
args: ["echo 'データベースダンプを取得中...' && sleep 5 && echo '生データのステージングが完了しました。'"]
- name: processor
inputs:
parameters:
- name: job-type
container:
image: python:3.11-alpine
command: [python, -c]
args:
- |
import sys, time
job = "{{inputs.parameters.job-type}}"
print(f"次のパーティションを処理中: {job}")
time.sleep(8)
print(f"分析パーティションの処理が完了しました: {job}")
- name: reporter
container:
image: alpine:3.19
command: [sh, -c]
args: ["echo '並列ワーカーからの出力を集約中...' && echo 'パイプラインが正常に完了しました。'"]
パイプラインの投入と管理
ログのリアルタイムストリーミングを有効にして、Argo CLIからワークフローを投入します。
argo submit -n default --watch parallel-dag-pipeline.yaml
ターミナルに表示される実行グラフに注目してください。fetch-raw-dataが完了した瞬間に、コントローラーがcompute-user-metricsとcompute-billing-metricsを同時に立ち上げます。Karpenterなどのクラスタオートスケーラーを運用している場合、これらのPodが必要に応じてノードのスケールアウトをトリガーし、ワークロードの終了とともにノードを自動解放します。
検証とモニタリング:ワークフローの確実な運用
上流データの不整合やネットワークタイムアウトによって、パイプラインの失敗は避けられません。障害を5分で復旧できるか、2時間の障害対応に追われるかは、モニタリングと可視性の質にかかっています。
1. Webダッシュボードへのアクセス
ArgoにはタスクグラフやPodログを確認できる直感的なWeb UIが付属しています。ローカル環境へポートフォワーディングを実行します。
kubectl port-forward -n argo svc/argo-server 2746:2746
ブラウザでhttps://localhost:2746を開きます(自己署名証明書の警告が表示された場合は続行を許可してください)。ダッシュボードでは、実行グラフのリアルタイム描画、コンテナの終了コードの確認、失敗したステップのワンクリック再実行などが可能です。
2. CLIによるステータス確認
踏み台サーバー経由で運用する場合やアラート用スクリプトを作成する際は、CLIから直接パイプラインのステータスを確認します。
# 最新のパイプライン実行履歴とその実行状態を一覧表示
argo list -n default
# 詳細な所要時間、各ステップの状態、Pod IDを表示
argo get -n default @latest
# DAG内の特定コンテナからログをストリーミング
argo logs -n default @latest -c processor
3. 本番運用のチェックリスト
- Podガベージコレクション(GC)の設定: ワークフロー仕様に
podGC.strategy: OnWorkflowCompletionを追加してください。完了した数千ものPodをクラスタに残し続けると、etcdのストレージが肥大化し、APIサーバーのパフォーマンス低下を招きます。 - 明示的なリソース境界の設定: 各テンプレートには必ずメモリとCPUの
requestsおよびlimitsを指定してください。リミットが設定されていないと、50タスクの一斉ファンアウトによってCoreDNSなどの重要システムPodがリソース枯渇に陥る恐れがあります。 - 不安定なステップへのリトライポリシー適用: 外部ネットワークに依存するステップには、指数バックオフを伴う
retryStrategyを設定してください。外部APIからの一時的な503エラーによって、40分間実行したパイプライン全体を無駄にすべきではありません。

