AI tutorial - IT technology blog
Posted inAI

Cách Chuyển Đổi Mô Hình LLM Sang Định Dạng GGUF với llama.cpp Quantization

Chạy các mô hình ngôn ngữ lớn cục bộ đòi hỏi phải thu nhỏ dung lượng file mà không làm giảm chất lượng. Hướng dẫn này đi qua toàn bộ pipeline llama.cpp: tải mô hình từ Hugging Face, chuyển đổi sang định dạng GGUF, và quantize xuống Q4_K_M hoặc các mức khác để phù hợp với phần cứng thông thường.
AI tutorial - IT technology blog
Posted inAI

Xây dựng trợ lý giọng nói nội bộ với Whisper và Ollama: Nhận dạng giọng nói và phản hồi LLM hoàn toàn offline

Hướng dẫn thực tế xây dựng trợ lý giọng nói hoàn toàn offline sử dụng Whisper để nhận dạng giọng nói và Ollama cho phản hồi LLM cục bộ — không cần cloud API, không độ trễ mạng, bảo mật toàn diện. Dựa trên sáu tháng kinh nghiệm thực tế với dữ liệu hiệu năng đo lường được.