Posted inホームラボ

YouTube動画の消失を防ぐ：自分専用アーカイブのためにTube Archivistをセルフホストする

HomeLab tutorial - IT technology blog
HomeLab tutorial - IT technology blog

午前2時のエラー：YouTubeが永続的なライブラリではない理由

ある火曜日の午前2時14分のことでした。本番サーバーで重大な503エラーのトラブルシューティングを行っており、2019年のニッチなチュートリアルで紹介されていた特定のカーネルチューニングのコツを思い出そうとしていました。ブックマークをクリックしましたが、解決策が表示される代わりに、デジタルの平手打ちを食らいました。「この動画は非公開です」。あるいはさらに悪いことに、「このアカウントは停止されました」。

その瞬間、私の「クラウド」上の知識に対する見方が変わりました。サードパーティのプラットフォームへの依存は、砂上の楼閣にすぎません。デジタルの劣化は避けられないのです。クリエイターはチャンネルを削除し、著作権侵害の申し立てが発生し、アルゴリズムは変化します。ビットを所有していなければ、その知識を所有していることにはなりません。私は、自分の学習リソースをクラウドから引き出し、自分自身のサーバーラックに収める必要があると悟りました。

アーカイブ戦略：yt-dlp vs. Tube Archivist

動画をアーカイブする方法を選択する場合、通常は2つの道に集約されます。私は両方を広範囲にテストしましたが、動画の数が3桁に達すると、その差は歴然となります。

手動ルート：yt-dlpとフォルダ

多くのエンジニアは、まずyt-dlpを使用したシンプルなcronジョブを作成することから始めます。ファイルを階層化されたフォルダに放り込んで、それで終わりです。これは数本のLinuxチュートリアルならうまくいきますが、500本の動画になると破綻します。文字起こしから検索することはできず、動画と特定のチャンネルのリンクは失われ、ダウンロード済みの動画を追跡するのは退屈な手作業になります。

体系的ルート：Tube Archivist

Tube Archivistはプロフェッショナルグレードのインデックスエンジンです。Elasticsearchを使用して、メタデータと字幕のすべての単語をインデックス化します。Redisがバックグラウンドワーカーのキューを管理し、洗練されたPythonベースのUIがそれらをまとめ上げます。YouTubeコンテンツを単なる.mp4ファイルの山ではなく、ローカルライブラリのように扱います。

内部の仕組み：メリットとデメリット

ドライブスペースを割り当てる前に、トレードオフを理解しておきましょう。これはリソースをほとんど消費しない軽量なコンテナではありません。

  • 全文検索： これが最大の特徴です。特定のターミナルコマンドを検索すると、Tube Archivistはクリエイターが字幕でそのコマンドに言及した正確なタイムスタンプを見つけ出します。
  • 自動同期： ツールにプレイリストやチャンネルを指定します。12時間ごとに新しいアップロードがないかチェックし、寝ている間に自動的に取得します。
  • メタデータの保存： ダウンロードした瞬間のコメント、説明、視聴回数を保存し、動画のコンテキストを維持します。
  • リソース負荷が高い： Elasticsearchを実行するには、インデックスだけで少なくとも2GBのRAM専用割り当てが必要です。
  • スタックの複雑さ： これはマルチコンテナ環境です。Redisの接続が切れたり、インデックスが破損したりした場合、Dockerログを読むことに慣れている必要があります。

ハードウェア要件：実際に必要なもの

安価なVPSや古いRaspberry Pi 3でホストしようとしないでください。UIのレスポンスを維持するには、合計システムRAMが少なくとも8GBあり、最新の4コアCPUを搭載したマシンを使用してください。データベースにとって速度は重要です。メタデータ（Elasticsearch）はSSDに置き、実際の動画ファイルは安価で大容量のHDDアレイに保存してください。

セットアップ：導入ガイド

Docker Composeを使用します。これは、Core、Redis、Elasticsearchsの3つの可動部分を、悩むことなく管理するための最も信頼できる方法です。これを本番環境向けの構成に簡略化しました。

1. ディレクトリ構造の作成

まず、保存パスを設定します。アプリケーションデータ、キャッシュ、データベースインデックスを処理するために、4つのメインボリュームが必要です。

mkdir -p tubearchivist/{cache,res,es,redis}
cd tubearchivist
touch docker-compose.yml

2. Docker Composeの設定

以下の内容をdocker-compose.ymlに貼り付けてください。ES_JAVA_OPTSに注意してください。これにより、Elasticsearchがサーバーのメモリプール全体を使い果たすのを防ぎます。

version: '3.3'

services:
  tubearchivist:
    container_name: tubearchivist
    restart: unless-stopped
    image: bbilly1/tubearchivist
    ports:
      - 8000:8000
    volumes:
      - /mnt/storage/youtube:/youtube
      - ./cache:/cache
    environment:
      - TA_HOST=192.168.1.50 # ローカルIPに変更
      - TA_USERNAME=admin
      - TA_PASSWORD=secure_pass_123
      - ELASTIC_PASSWORD=es_pass_456
      - HOST_UID=1000
      - HOST_GID=1000
    depends_on:
      - archivist-es
      - archivist-redis

  archivist-redis:
    container_name: archivist-redis
    restart: unless-stopped
    image: redis/redis-stack-server
    volumes:
      - ./redis:/data

  archivist-es:
    container_name: archivist-es
    restart: unless-stopped
    image: bbilly1/tubearchivist-es
    environment:
      - "ELASTIC_PASSWORD=es_pass_456"
      - "discovery.type=single-node"
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - "xpack.security.enabled=true"
    volumes:
      - ./es:/usr/share/elasticsearch/data

3. スタックの起動

開始前にvm.max_map_countが十分に高いことを確認してください。そうしないと、Elasticsearchが起動時にクラッシュします。これは、初めてのユーザーがよく陥る落とし穴です。

# 設定を即座に適用する
sudo sysctl -w vm.max_map_count=262144

# 再起動後も変更を維持する
echo "vm.max_map_count=262144" | sudo tee -a /etc/sysctl.conf

# コンテナを起動する
docker-compose up -d

より良いアーカイブのための実践的なヒント

ポート8000でUIが立ち上がったら、すぐに50個のチャンネルを登録したくなる衝動を抑えてください。まずは小さく始めましょう。初期実行時は、システムがサムネイルを生成し、数千行の字幕を同時にインデックス化する必要があるため、CPU負荷が高くなります。

最も重要な5つのチャンネルから始めてください。「設定（Settings）」ページを確認し、「ダウンロード形式（Download Format）」を設定します。1080pをお勧めします。10分間の4K動画1本で1.2GB消費することもありますが、1080pバージョンなら200MB程度で済むかもしれません。「視聴済みを自動削除（Auto-delete watched）」は、これを DVR として使用する場合のみ有効にしてください。永続的なアーカイブの場合は、オフのままにします。

自分のデータを管理するには規律が必要です。しかし、次に重要なチュートリアルがウェブから消えてしまっても、パニックになることはありません。ローカルのダッシュボードを開いて再生ボタンを押すだけです。

Share:
Tags: