Posted inLinux

Ngừng đọc log thô: Sử dụng GoAccess để phân tích Nginx & Apache theo thời gian thực

Linux tutorial - IT technology blog
Linux tutorial - IT technology blog

Tại sao việc trực quan hóa log lại hiệu quả hơn việc tìm kiếm thủ công

Việc quét các tệp log thô bằng lệnh tail -f là một công việc mệt mỏi đối với bất kỳ quản trị viên hệ thống (sysadmin) nào. Bạn phải nhìn các địa chỉ IP trôi qua, phát hiện các lỗi 404 và thỉnh thoảng bắt gặp các bot đang dò tìm /wp-login.php hoặc xmlrpc.php. Tuy nhiên, văn bản thô không thể giúp bạn thấy được bức tranh toàn cảnh, ngay cả khi bạn đã quen với việc phân tích log Linux hiện đại bằng các công cụ dòng lệnh khác. Khi lưu lượng truy cập tăng vọt, bạn cần biết ngay lập tức liệu mình đang bị tấn công DDoS, bị bot tìm kiếm quét hay thực sự là do lượng người dùng tăng lên.

GoAccess là giải pháp ưa thích của tôi cho những tình huống này. Đây là một công cụ phân tích log mã nguồn mở, hoạt động theo thời gian thực, chạy hoàn hảo trên cả terminal hoặc trình duyệt. Vì được viết bằng C nên nó cực kỳ hiệu quả. Trong khi một bộ ELK stack đầy đủ (Elasticsearch, Logstash, Kibana) có thể yêu cầu từ 4GB đến 8GB RAM để hoạt động ổn định, GoAccess thường chạy với chưa đầy 50MB. Nó cung cấp những thông tin chi tiết sâu sắc mà không làm tiêu tốn quá nhiều tài nguyên, tương tự như cách bạn có thể giám sát server Linux thời gian thực để nắm bắt tình trạng hệ thống tổng thể.

Tôi đã quản lý hơn một chục máy chủ Linux VPS trong vài năm qua. Có một bài học quan trọng: luôn thử nghiệm các công cụ giám sát trên môi trường staging trước và thực hiện benchmarking máy chủ Linux để đánh giá tác động hiệu năng. Bạn muốn có khả năng giám sát, nhưng không muốn công cụ giám sát đó làm sập chính máy chủ mà nó đang theo dõi. GoAccess đạt được sự cân bằng đó một cách hoàn hảo.

Cài đặt GoAccess trên Linux

Hầu hết các bản phân phối Linux đều có sẵn GoAccess trong kho lưu trữ mặc định, nhưng các phiên bản đó thường đã cũ. Để có được các bản cập nhật WebSocket nhanh chóng và các tính năng mới nhất, tôi khuyên bạn nên sử dụng kho lưu trữ chính thức của nhà phát triển.

Trên Ubuntu và Debian

Kho lưu trữ tiêu chuẩn thường cập nhật chậm hơn. Hãy sử dụng kho lưu trữ chính thức của GoAccess để đảm bảo bạn có tệp binary mới nhất cùng tất cả các phụ thuộc cần thiết cho các báo cáo HTML trực tiếp.

wget -O - https://deb.goaccess.io/gnugpg.key | gpg --dearmor | sudo tee /usr/share/keyrings/goaccess.gpg >/dev/null
echo "deb [signed-by=/usr/share/keyrings/goaccess.gpg] https://deb.goaccess.io/ $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/goaccess.list
sudo apt-get update
sudo apt-get install goaccess

Trên RHEL, AlmaLinux, hoặc Fedora

Đối với các hệ thống dựa trên RHEL, kho lưu trữ EPEL là lựa chọn tốt nhất. Nó luôn được cập nhật khá mới và tích hợp tốt với trình quản lý gói của hệ thống.

sudo dnf install epel-release
sudo dnf install goaccess

Kiểm tra cài đặt

Xác nhận việc cài đặt bằng cách kiểm tra số phiên bản. Điều này đảm bảo tệp binary đã nằm trong PATH của bạn và sẵn sàng hoạt động.

goaccess --version

Cấu hình GoAccess cho Nginx và Apache

GoAccess cần một “bản đồ” để hiểu các tệp log của bạn. Hầu hết các bản cài đặt Nginx và Apache đều sử dụng định dạng log “Combined”. Định dạng này bao gồm IP, ngày tháng, loại yêu cầu và user agent.

Việc cấu hình diễn ra trong tệp /etc/goaccess/goaccess.conf. Hãy mở tệp này bằng trình soạn thảo văn bản bạn thích:

sudo nano /etc/goaccess/goaccess.conf

Tìm phần Log Format Configuration. Bỏ chú thích các dòng sau để hỗ trợ log máy chủ web tiêu chuẩn:

time-format %H:%M:%S
date-format %d/%b/%Y
log-format COMBINED

Các thiết lập tùy chỉnh sẽ yêu cầu thực hiện thêm một chút công việc. Nếu bạn đã sửa đổi Nginx để ghi lại cache hits hoặc thời gian phản hồi của upstream, bạn phải điều chỉnh chuỗi log-format tương ứng. Đối với hầu hết người dùng, định dạng COMBINED tiêu chuẩn đáp ứng được 95% nhu cầu phân tích lưu lượng.

Chạy GoAccess trong Terminal

Cách nhanh nhất để chẩn đoán một vấn đề đang xảy ra là khởi chạy GoAccess trực tiếp trong phiên làm việc SSH của bạn. Để tránh việc mất kết nối giữa chừng khi phân tích dữ liệu lớn, bạn nên sử dụng Tmux để duy trì phiên làm việc. Chỉ cần trỏ công cụ đến đường dẫn tệp log của bạn.

sudo goaccess /var/log/nginx/access.log --log-format=COMBINED

Người dùng Apache thường sẽ tìm thấy log của họ tại /var/log/apache2/access.log. Khi dashboard xuất hiện, hãy sử dụng các phím sau để điều hướng:

  • F1 hoặc h: Mở menu trợ giúp.
  • 0-9: Nhảy thẳng đến các module cụ thể như “Unique Visitors” hoặc “Static Files”.
  • o hoặc Enter: Mở rộng module hiện tại để xem chi tiết hơn.
  • j/k: Di chuyển con trỏ xuống và lên.
  • q: Thoát chương trình.

Thiết lập Dashboard Web theo thời gian thực

Giao diện terminal rất tuyệt để xử lý nhanh, nhưng dashboard trên trình duyệt sẽ tốt hơn để theo dõi lâu dài. GoAccess có thể tạo ra một tệp HTML duy nhất tự động cập nhật bằng WebSockets. Điều này cho phép bạn thấy lưu lượng truy cập tăng vọt ngay khi nó xảy ra.

Bắt đầu bằng cách tạo một thư mục riêng cho các số liệu thống kê của bạn:

sudo mkdir -p /var/www/html/stats

Để bắt đầu tiến trình chạy ngầm và giữ cho dashboard luôn hoạt động, hãy chạy lệnh sau:

sudo goaccess /var/log/nginx/access.log -o /var/www/html/stats/index.html --log-format=COMBINED --real-time-html --daemonize

Dưới đây là giải thích về các tham số đó:

  • -o: Xác định nơi lưu báo cáo HTML.
  • --real-time-html: Yêu cầu GoAccess khởi chạy một WebSocket server để đẩy dữ liệu trực tiếp.
  • --daemonize: Giữ cho tiến trình chạy ngầm sau khi bạn đóng phiên làm việc SSH.

Cấu hình Firewall

GoAccess sử dụng cổng 7890 cho kết nối WebSocket. Nếu cổng này bị chặn, dashboard của bạn sẽ tải được nhưng dữ liệu sẽ không thay đổi. Bạn phải cho phép lưu lượng truy cập này một cách rõ ràng.

# Cho UFW (Ubuntu/Debian)
sudo ufw allow 7890/tcp

# Cho Firewalld (RHEL/AlmaLinux)
sudo firewall-cmd --permanent --add-port=7890/tcp
sudo firewall-cmd --reload

Truy cập http://your-server-ip/stats/ để xem dữ liệu của bạn. Nếu bạn thấy một chấm đỏ báo “WebSocket connection failed”, hãy kiểm tra xem tiến trình GoAccess có còn đang chạy không và cổng đã được mở chưa.

Bảo mật và Tối ưu hóa

Việc để lộ log của bạn ra công chúng là một rủi ro bảo mật lớn. Log thường chứa các đường dẫn nhạy cảm hoặc địa chỉ IP mà kẻ tấn công có thể sử dụng để lập bản đồ hạ tầng của bạn. Luôn bảo vệ thư mục /stats bằng mật khẩu.

Trong Nginx, bạn có thể bảo mật thư mục này bằng một vài dòng cấu hình:

location /stats {
    auth_basic "Truy cập bị hạn chế";
    auth_basic_user_file /etc/nginx/.htpasswd;
}

Phân tích các tệp log cũ (Archived)

Các máy chủ thường sử dụng logrotate để nén các log cũ thành các tệp .gz. Nếu bạn muốn xem lưu lượng truy cập trong tuần qua thay vì chỉ vài giờ qua, hãy chuyển các tệp lưu trữ này vào GoAccess.

zcat -f /var/log/nginx/access.log* | goaccess -o /var/www/html/stats/index.html --log-format=COMBINED --real-time-html

Tham số -f ở đây rất hữu ích. Nó yêu cầu zcat xử lý đồng thời cả các tệp .gz đã nén và log hiện tại dạng văn bản thô.

Lời kết

GoAccess là một công cụ mạnh mẽ nhưng nhẹ nhàng cho bất kỳ sysadmin nào. Nó cung cấp khả năng hiển thị tức thời lưu lượng truy cập web mà không cần sự phức tạp của các bộ dữ liệu khổng lồ. Cho dù bạn đang săn tìm lỗi 502 Bad Gateway lúc 3 giờ sáng hay trình bày xu hướng tăng trưởng hàng tháng cho khách hàng, dữ liệu luôn dễ đọc và sẵn sàng.

Hãy bắt đầu bằng cách cài đặt nó trên một máy chủ thử nghiệm. Một khi bạn thấy cách nó xử lý hàng nghìn yêu cầu mỗi giây với tác động tối thiểu đến CPU, bạn chắc chắn sẽ biến nó thành một phần không thể thiếu trong bộ công cụ quản trị của mình.

Share:
Tags: