Linuxにおける集中型ログ管理:RsyslogとLogrotate活用術

Linux tutorial - IT technology blog
Linux tutorial - IT technology blog

Linuxサーバーを数台運用しているだけでも、あるいは重要なアプリケーションが1つ稼働しているだけでも、ログの処理は避けられません。そして、これはすぐに大きな頭痛の種となり得ます。ログが何十ものコンテナに散らばっているマイクロサービスアーキテクチャのデバッグを想像してみてください!トラブルシューティングやセキュリティ監査のために各マシンの個々のログファイルをふるいにかけるのは、信じられないほど非効率的です。また、重要な情報を見落とす可能性もあります。

このように考えてみてください。あなたは複雑な会話を理解しようとしているのに、異なる部屋からの断片的な会話しか同時に聞くことができません。これらすべての会話を1つの中心的な場所に集める必要があります。そうすることで、監視、分析、効果的な管理がはるかに容易になります。

コアコンセプト:RsyslogとLogrotateが救世主となる

分散ログ管理には、Linuxに組み込まれた2つの強力なユーティリティを使用します。これらを組み合わせることで、驚くほど効果的で信頼性の高いソリューションが実現します。

Rsyslog:ログコレクター兼フォワーダー

Rsyslogは、業界標準として広く認知されている高性能なロギングシステムです。ほとんどの最新Linuxディストリビューションでデフォルトのロギングユーティリティとして採用されています。しかし、Rsyslogは単なるローカルログライターではありません。Rsyslogは、ログを忠実に送信するクライアントとしても、複数のソースからログを受信するサーバーとしても機能できます。この多用途なクライアント/サーバー機能こそが、集中型ログ管理を真に実用的なものにしています。

Rsyslogは明確なルールセットに基づいて動作します。これらのルールは/etc/rsyslog.confおよび/etc/rsyslog.d/内の追加ファイルで定義します。これらのルールは、どのメッセージをログに記録するか、どこに送信するか(ローカルファイル、リモートサーバー、またはデータベース)、そしてどのような特定の条件で送信するかを正確に指示します。主な概念は次のとおりです。

  • ファシリティ (Facilities): これらはログメッセージをソースアプリケーションまたはシステムコンポーネントによって分類します。例として、メールサーバーログ用のmail、認証メッセージ用のauth、カーネルメッセージ用のkernなどがあります。
  • 優先度 (Priorities): 優先度はログメッセージの重大度を示します。一般的な例としては、info(情報)、warning(警告)、err(エラー)、crit(クリティカル)などがあります。

Logrotate:ログのメンテナー

管理を怠ると、ログファイルは際限なく増え続ける可能性があります。すぐに貴重なディスク容量を消費し、ログ分析を悪夢のようなものにしてしまいます。ここでlogrotateの出番です。logrotateの主な目的は、大量のログファイルを生成するシステムの管理を簡素化することです。ログファイルのローテーション、圧縮、削除、さらにはメール送信までを自動化します。

通常、logrotateは日次cronジョブとして実行されます。メイン設定ファイルである/etc/logrotate.confは、通常、/etc/logrotate.d/にある他の設定ファイルを含んでいます。これらには、アプリケーション固有の設定が含まれていることがよくあります。理解すべき主要な概念は次のとおりです。

  • ローテーション頻度 (Rotation frequency): ログがローテーションされる頻度。一般的なオプションは、日次、週次、または月次です。
  • 圧縮 (Compression): 古いログファイルを圧縮することで、かなりのディスク容量を節約します。
  • 保持ポリシー (Retention policy): 削除する前に保持する古いログファイルの数を指定します。
  • ローテーション前/後スクリプト (Pre/post-rotation scripts): サービスを再起動したり、アラートを送信したりするなど、ログローテーションの前または後に実行できるカスタムコマンドです。

実践:集中型ログシステムをセットアップする

実践に移りましょう。rsyslogクライアントがログを中央サーバーに送信するように設定する方法を説明します。次に、クライアントとサーバーの両方でlogrotateを設定し、すべてを整理し、ディスク容量の問題を防ぎます。

前提条件:

  • このデモンストレーション用に2台のLinuxマシン(仮想または物理)を用意してください。1台を「クライアント」、もう1台を「サーバー」として指定します。
  • 両方のマシンでsudo権限が必要です。

ステップ1:Rsyslogサーバーを設定する

まず、中央ログサーバーが受信ログを受け入れるように準備しましょう。

  1. Rsyslog設定を開く:
    指定したサーバーで、好みのテキストエディタを使ってメインのrsyslog設定ファイルを開きます。

    sudo nano /etc/rsyslog.conf
  2. UDPおよびTCP受信を有効にする:
    これらの行のコメントを解除(または、不足している場合は追加)して、rsyslogがUDPおよびTCP経由でsyslogメッセージを受信できるようにします。UDPは一般的に高速ですが信頼性が低く、TCPは低速ですが配信が保証されます。重要なログには、TCPの方が適していることがよくあります。私は通常、両方を有効にします。

    # UDP syslog受信を提供します
    module(load="imudp")
    input(type="imudp" port="514")
    
    # TCP syslog受信を提供します
    module(load="imtcp")
    input(type="imtcp" port="514")

    変更を保存して終了します(Ctrl+XYEnter)。

  3. リモートログテンプレートを作成する(強く推奨):
    異なるクライアントからのログをきれいに整理するために、カスタムテンプレートを作成することは優れた戦略です。この設定例では、リモートホストからのすべてのメッセージを別々のファイルに記録します。これらのファイルはホスト名にちなんで名付けられ、/var/log/remote/HOSTNAME/PROGRAMNAME.logのようなディレクトリ構造内に保存されます。
    より明確にするために、この目的のために特に新しい設定ファイルを作成します。

    sudo nano /etc/rsyslog.d/remote-logs.conf

    以下の内容を追加します。

    $template RemoteHostLog,"/var/log/remote/%HOSTNAME%/%PROGRAMNAME%.log"
    *.* ?RemoteHostLog
    & stop

    各部分が何をするのかを簡単に見ていきましょう。

    • $template RemoteHostLog,...:これはRemoteHostLogという名前のテンプレートを定義します。
    • %HOSTNAME%:この変数は、ログを送信しているマシンのホスト名を表します。
    • %PROGRAMNAME%:これは、ログメッセージを生成したプログラムを識別します。
    • *.*:これはワイルドカードとして機能し、すべてのファシリティと優先度を捕捉します。
    • ?RemoteHostLog:これはRemoteHostLogテンプレートで定義されたフォーマットを適用します。
    • & stop:この重要なディレクティブは、テンプレートを適用した後にこのメッセージの処理を停止します。これにより、ログがサーバー上の他のデフォルトログファイルに書き込まれるのを防ぎ、重複を回避します。

    保存して終了します。

  4. ログディレクトリを作成する:
    リモートログのターゲットディレクトリが存在することを確認してください。存在しない場合は、今すぐ作成します。

    sudo mkdir -p /var/log/remote
  5. ファイアウォールを調整する(該当する場合):
    ファイアウォールは必ず実行すべきです!もし実行している場合は、UDPとTCPの両方でポート514への受信トラフィックを許可してください。一般的なファイアウォールでの設定方法は以下の通りです。

    ufw(Uncomplicated Firewall)の場合:

    sudo ufw allow 514/tcp
    sudo ufw allow 514/udp
    sudo ufw reload

    firewalldの場合:

    sudo firewall-cmd --add-port=514/tcp --permanent
    sudo firewall-cmd --add-port=514/udp --permanent
    sudo firewall-cmd --reload
  6. Rsyslogサービスを再起動する:
    最後に、rsyslogサービスを再起動して変更を適用します。また、起動時に自動的に開始するように設定されていることを確認し、そのステータスを確認します。

    sudo systemctl restart rsyslog
    sudo systemctl enable rsyslog
    sudo systemctl status rsyslog

    問題なくスムーズに実行されていることを確認してください。

ステップ2:Rsyslogクライアントを設定する

サーバーの準備ができたので、クライアントマシンがログをこちらに送信するように設定しましょう。

  1. Rsyslog設定を開く:
    クライアントマシンで、デフォルトの設定ファイルを変更するか、よりクリーンな設定のために新しいファイルを作成します。

    sudo nano /etc/rsyslog.d/50-default.conf
    # あるいは、新しいファイルを作成します。例:/etc/rsyslog.d/remote.conf
  2. リモートサーバーの宛先を追加する:
    ファイルの最後に、すべてのログを中央サーバーのIPアドレスに転送する行を追加します。YOUR_SERVER_IPをログサーバーの実際のIPアドレスに置き換えることを忘れないでください。

    # すべてのメッセージをリモートrsyslogサーバーに送信します
    *.* @YOUR_SERVER_IP:514   # UDP(UDPの場合は@を1つ)
    # *.* @@YOUR_SERVER_IP:514 # TCP(TCPの場合は@@を2つ使用)

    私はよく、その簡潔さからUDPから始め、その後、わずかなメッセージロスさえ許容できない重要なシステムではTCP(@@を使用)に移行します。ファイルを保存して終了します。

  3. Rsyslogサービスを再起動する:
    クライアントでrsyslogサービスを再起動して新しい設定を有効にします。その後、そのステータスを確認します。

    sudo systemctl restart rsyslog
    sudo systemctl status rsyslog
  4. クライアント設定をテストする:
    いよいよ真実の瞬間です!クライアントでテストログメッセージを生成します。

    logger "これはクライアント $(hostname) から中央ログサーバーへのテストメッセージです。"

    次に、中央サーバーに切り替えて/var/log/remote/ディレクトリを確認します。クライアントのホスト名にちなんで名付けられた新しいディレクトリが表示されるはずです。その中には、テストメッセージを含むlogger.logのようなファイルが見つかるでしょう。

    sudo ls /var/log/remote/$(hostname)/
    sudo cat /var/log/remote/$(hostname)/logger.log

    個人的に3年以上にわたり10台以上のLinux VPSインスタンスを管理してきましたが、これを強調せずにはいられません。本番環境に投入する前に、必ず徹底的にテストしてください。これにより、デバッグに費やす途方もない時間を節約できます!ログが適切な場所に正確に保存されていることを確認する習慣をつけましょう。

ステップ3:クライアントとサーバーの両方でLogrotateを設定する

ログが滞りなく流れるようになったので、ディスク容量をすべて消費しないようにする必要があります。その答えがLogrotateです。クライアント(ローカルログ用)と、最も重要なサーバー(受信リモートログを管理するため)の両方で設定します。

  1. グローバルLogrotate設定を確認する:
    クライアントとサーバーの両方で、/etc/logrotate.confを確認してください。このファイルにはグローバル設定が含まれており、通常、/etc/logrotate.d/にあるすべてのファイルを含んでいます。

    sudo cat /etc/logrotate.conf

    weeklyrotate 4createcompressinclude /etc/logrotate.dといったディレクティブが見つかるでしょう。これらは、システム全体でのログローテーションの動作を制御します。

  2. リモートログ用のカスタムLogrotate設定を作成する(サーバーサイド):
    このステップは、中央ログサーバーにとって絶対に不可欠です。/var/log/remote/に蓄積されるログをどのように処理するかをlogrotateに明示的に指示する必要があります。
    この目的のために新しい設定ファイルを作成します。

    sudo nano /etc/logrotate.d/remote-rsyslog

    以下の設定を追加します。特定の保持ポリシーとストレージ要件に合わせて、rotatesize、または頻度(daily/weekly/monthly)を自由に調整してください。

    /var/log/remote/*/*.log {
        daily
        rotate 7
        compress
        delaycompress
        missingok
        notifempty
        create 0640 syslog adm
        sharedscripts
        postrotate
            systemctl reload rsyslog > /dev/null 2>&1 || true
        endscript
    }

    これらのディレクティブをそれぞれ見ていきましょう。

    • /var/log/remote/*/*.log:この設定は、/var/log/remote/以下の任意のサブディレクトリ内にあるすべての.logファイルに適用されることを指定します。
    • daily:ログは毎日ローテーションされます。その他のオプションとして、ログの量と保持の必要性に応じてweekly(週次)またはmonthly(月次)があります。
    • rotate 7:このディレクティブは、logrotateに7つのローテーションされたログファイルを保持するように指示します。新しいファイルが作成されると、最も古いファイルが削除されます。
    • compress:ローテーション後、古いログファイルは圧縮され、ディスク容量が節約されます。
    • delaycompress:圧縮は*次*のローテーションサイクルまで遅延されます。これは、新しくローテーションされたがまだ圧縮されていないログファイルが、さらに1日間他のツールによって処理されることを可能にするため有用です。
    • missingok:ログファイルが見つからない場合、logrotateは文句を言ったりエラーを発したりしません。
    • notifempty:ログファイルが完全に空の場合、logrotateがローテーションするのを防ぎます。
    • create 0640 syslog adm:ローテーション後、特定のパーミッション(モード0640)と所有権(syslog:adm)を持つ新しい空のログファイルが作成されます。
    • sharedscripts:複数のログファイルがワイルドカードパターンに一致する場合でも、prerotateおよびpostrotateスクリプトはファイルごとに実行されるのではなく、一度だけ実行されます。
    • postrotate ... endscript:これらのコマンドは、ログローテーション処理の直後に実行されます。この場合、rsyslogをリロードします。これにより、rsyslogが新しく作成された空のログファイルへの書き込みを開始することが保証されます。> /dev/null 2>&1 || trueの部分は、リロードコマンドからの出力を抑制し、rsyslogのリロードが厳密に必要でない場合や軽微な問題が発生した場合にスクリプトが失敗するのを防ぎます。

    保存して終了します。

  3. Logrotate設定をテストする:
    実際のファイル変更を行わずに、デバッグモードでlogrotate設定をテストできます。

    sudo logrotate -d /etc/logrotate.conf

    実際のローテーションを強制するには(テストには非常に役立ちますが、本番環境では注意して使用してください):

    sudo logrotate -f /etc/logrotate.d/remote-rsyslog

    強制ローテーション後、/var/log/remote/に移動します。そこに新しくローテーションおよび圧縮されたログファイルが確認できるはずです。

さらなる考慮事項:

  • セキュリティ: 中央ログサーバーのセキュリティを常に最優先してください。必要なポート(514 UDP/TCP)のみを公開し、可能であれば特定のクライアントIPアドレスのリストにアクセスを制限します。
  • ストレージ: 中央ログサーバーに十分なストレージを計画してください。例えば、ビジーなウェブサーバーは毎日数ギガバイトのログを生成する可能性があります。長期的な保持戦略のために、オブジェクトストレージや専用のログ分析ツールを検討してください。
  • モニタリング: ログサーバーのディスク容量使用量とrsyslogサービスの健全性ステータスについて、積極的に監視を設定してください。
  • 高度なRsyslog: rsyslogの高度な機能について深く掘り下げてみましょう。これには、強力なフィルター、メッセージ変更機能、データベースやSecurity Information and Event Management (SIEM) システムへの転送オプションが含まれ、より洗練された分析が可能です。

結論:レジリエントなシステムの基盤

rsyslogとlogrotateを使った集中型ログ管理システムの実装は、堅牢で安全なLinux環境を維持するための基本的な実践です。これにより、散在しがちでしばしば混沌としたログファイルの集合が、整理され、簡単にアクセスでき、管理しやすいリソースへと変貌します。

このガイドで概説した手順に従うことで、システムへの優れた可視性を得られ、トラブルシューティングの労力を大幅に合理化し、全体的なセキュリティ体制を強化することができます。この設定は、運用が拡大するにつれて継続的にメリットをもたらす、真に価値のあるインフラストクチャの一部となります。

Share: