vLLM Archives - ITNotes

Tăng tốc suy luận LLM với Speculative Decoding: Hướng dẫn thực hành trên vLLM và llama.cpp

Tháng 10 30, 2026

Speculative decoding giúp các đội ngũ kỹ thuật tăng gấp đôi tốc độ sinh token của LLM mà không làm giảm độ chính xác của mô hình. Hướng dẫn thực hành chi tiết cách cấu hình draft model trên vLLM và llama.cpp dựa trên 6 tháng kinh nghiệm vận hành production.

Làm chủ Outlines trong Python: Đảm bảo output có cấu trúc cho LLM với Regex và CFG

Tháng 10 19, 2026

Thất vọng vì JSON bị lỗi từ API của các LLM thương mại? Khám phá cách Outlines sử dụng biểu thức chính quy (regex) và ngữ pháp phi ngữ cảnh (CFG) để đảm bảo output có cấu trúc chuẩn xác trong Python.

Triển khai SGLang với Docker trên Linux: Tăng Tốc Suy Luận LLM Với RadixAttention

Tháng 10 8, 2026

SGLang dùng RadixAttention để cache các prefix chung giữa các request — giúp nó nhanh hơn đáng kể so với vLLM cho chatbot, agent và RAG pipeline. Hướng dẫn này đề cập triển khai SGLang với Docker trên Linux: từ thiết lập GPU toolkit đến cấu hình Docker Compose sẵn sàng cho production.

Tăng tốc độ LLM cục bộ: Hướng dẫn thực hành Speculative Decoding

Tháng 5 6, 2026

Tăng tốc độ LLM cục bộ của bạn lên gấp 2 lần hoặc hơn. Hướng dẫn này bao gồm cách thiết lập thực tế cho Speculative Decoding bằng llama.cpp và vLLM trên GPU dân dụng.

Inference LLM Hiệu Năng Cao: Mở Rộng vLLM và Docker Cho Môi Trường Production

Tháng 4 27, 2026

Tăng cường hiệu năng AI với vLLM và Docker. Tìm hiểu cách sử dụng PagedAttention, Tensor Parallelism và quantization để mở rộng LLM cho hàng trăm người dùng đồng thời.