Continue.dev + Ollama trong VS Code: Chạy Trợ Lý Code AI Miễn Phí Ngay Trên Máy (Thay Thế GitHub Copilot)

AI tutorial - IT technology blog
AI tutorial - IT technology blog

Sáu tháng trước tôi cắt subscription GitHub Copilot và chuyển hoàn toàn sang stack local xây dựng trên Continue.dev và Ollama. Code của tôi không bao giờ rời khỏi máy, độ trễ khá tốt đến bất ngờ trên GPU tầm trung, và chi phí hàng tháng bằng đúng zero. Những gì tiếp theo là chính xác những gì tôi đúc kết được — những phần thực sự hữu ích, đã cắt bỏ các ngõ cụt.

Bắt Đầu Nhanh — Chạy Được Trong 5 Phút

Bạn cần hai thứ: Ollama (server model local) và extension Continue cho VS Code (giao diện IDE). Chúng giao tiếp qua cổng HTTP local trên 127.0.0.1:11434.

1. Cài Đặt Ollama

Tải installer từ trang chính thức cho hệ điều hành của bạn, hoặc trên Linux chạy:

curl -fsSL https://ollama.com/install.sh | sh

Kiểm tra xem nó đã khởi động đúng chưa:

ollama --version
# phiên bản ollama là 0.3.x

2. Tải Model Lập Trình

Với máy có 8 GB VRAM (hoặc 16 GB RAM nếu chỉ dùng CPU), qwen2.5-coder:7b là lựa chọn hàng đầu của tôi — nhanh, chính xác khi hoàn thành code, và vừa vặn thoải mái:

# 7B — cân bằng tốt giữa tốc độ và chất lượng
ollama pull qwen2.5-coder:7b

# 1.5B — nếu RAM hạn chế hoặc muốn hoàn thành code ngay lập tức
ollama pull qwen2.5-coder:1.5b

# 14B — nếu có GPU 24 GB và muốn chất lượng chat ngang GPT-4o
ollama pull qwen2.5-coder:14b

Xác nhận model đã sẵn sàng:

ollama list

3. Cài Extension Continue

Mở VS Code, vào panel Extensions, tìm kiếm Continue (publisher: Continue.dev), và click Install. Sau khi cài xong, biểu tượng sidebar Continue xuất hiện ở bên trái.

4. Kết Nối Continue với Ollama

Click biểu tượng sidebar Continue → biểu tượng bánh răng → Open config.json. Thay toàn bộ nội dung mặc định bằng config tối giản này:

{
  "models": [
    {
      "title": "Qwen2.5 Coder 7B",
      "provider": "ollama",
      "model": "qwen2.5-coder:7b"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Qwen2.5 Coder 1.5B",
    "provider": "ollama",
    "model": "qwen2.5-coder:1.5b"
  },
  "allowAnonymousTelemetry": false
}

Lưu file. Mở bất kỳ file source nào và bắt đầu gõ — nhấn Tab để chấp nhận gợi ý autocomplete, hoặc Ctrl+L (Cmd+L trên Mac) để mở panel chat. Thế là xong.

Tìm Hiểu Sâu — Hiểu Rõ Cấu Hình

Config bắt đầu nhanh đã hoạt động được rồi. Nhưng Continue có ba khu vực mà hầu hết mọi người không bao giờ đụng vào — và đó chính là nơi có nhiều lợi ích thực sự.

Tách Biệt Model Chat và Autocomplete

Continue xử lý chat và autocomplete như hai công việc riêng biệt. Kích thước model phù hợp sẽ khác nhau cho từng loại:

  • Chat / mảng models: Bạn gửi prompt dài và mong đợi giải thích chi tiết. Model 7B–14B xứng đáng với độ trễ cao hơn ở đây.
  • Autocomplete / tabAutocompleteModel: Thứ này kích hoạt mỗi lần gõ phím. Cần phản hồi trong dưới 300 ms, nếu không sẽ có cảm giác lag. Model 1.5B–3B là lựa chọn phù hợp.

Context Providers — Tính Năng Mà Nhiều Người Bỏ Qua

Bạn đã bao giờ hỏi trợ lý AI về code của mình mà nhận được câu trả lời hoàn toàn không liên quan đến codebase thực tế chưa? Đó là điều xảy ra khi không có context providers. Chúng cho phép Continue kéo thông tin trực tiếp — file đang mở, git diff của bạn, output terminal, chẩn đoán VS Code — một cách tự động. Không có chúng, model chỉ thấy những gì bạn dán thủ công vào chat. Thêm phần này vào config:

"contextProviders": [
  { "name": "code" },
  { "name": "docs" },
  { "name": "diff" },
  { "name": "terminal" },
  { "name": "problems" },
  {
    "name": "folder",
    "params": { "nFinal": 10 }
  }
]

Giờ trong hộp chat bạn có thể gõ @ để tham chiếu đến một file, git diff hiện tại, output terminal, hoặc chẩn đoán VS Code. Model nhận được context thực tế thay vì phải đoán mò.

Codebase Embeddings (Tùy Chọn Nhưng Đáng Dùng)

Để cho model có thể nhìn thấy xa hơn chỉ các file đang mở, hãy thêm một embeddings provider. Continue index codebase của bạn locally và thực hiện tìm kiếm ngữ nghĩa trước mỗi truy vấn chat:

"embeddingsProvider": {
  "provider": "ollama",
  "model": "nomic-embed-text"
}
ollama pull nomic-embed-text

Kích hoạt re-index bằng Ctrl+Shift+P → Continue: Reindex Codebase. Sau khi index xong, context provider @codebase trở nên khả dụng trong chat. Trên dự án 20K+ dòng, nó giúp tìm lại những hàm bạn đã quên mất và kết nối các pattern xuyên file mà nếu không có nó model sẽ hoàn toàn bỏ sót.

Sử Dụng Nâng Cao

Dùng Nhiều Model Cho Từng Nhiệm Vụ

Đăng ký nhiều model trong mảng models và chuyển đổi giữa chúng trong panel chat. Config production của tôi có ba model:

"models": [
  {
    "title": "Qwen2.5 Coder 14B (Câu hỏi phức tạp)",
    "provider": "ollama",
    "model": "qwen2.5-coder:14b"
  },
  {
    "title": "Qwen2.5 Coder 7B (Dùng hàng ngày)",
    "provider": "ollama",
    "model": "qwen2.5-coder:7b"
  },
  {
    "title": "Mistral 7B (Viết không phải code)",
    "provider": "ollama",
    "model": "mistral:7b"
  }
]

Bộ chọn model nằm ở đầu panel chat. Tôi dùng model 14B khi debug vấn đề phức tạp và quay về 7B cho các tác vụ thông thường để giữ thời gian phản hồi nhanh.

Slash Commands Tùy Chỉnh

Slash commands cho phép bạn định nghĩa các prompt có thể tái sử dụng. Thêm phần slashCommands:

"slashCommands": [
  {
    "name": "review",
    "description": "Review code đang chọn để tìm bug và vấn đề về style",
    "prompt": "Review đoạn code sau. Chỉ ra các bug, edge case tiềm ẩn, và vấn đề về style. Nêu trực tiếp và cụ thể:\n\n{{{ input }}}"
  },
  {
    "name": "docstring",
    "description": "Viết docstring cho hàm đang chọn",
    "prompt": "Viết docstring ngắn gọn cho hàm này. Bao gồm kiểu tham số và giá trị trả về:\n\n{{{ input }}}"
  }
]

Chọn một đoạn code, mở chat, gõ /review và nhấn Enter. Model nhận được phần chọn kèm theo prompt tùy chỉnh của bạn.

Quy Tắc Cấp Dự Án Với .continuerules

Tạo một file .continuerules ở thư mục gốc dự án để cung cấp cho model các chỉ dẫn cố định cho codebase đó:

Dự án này dùng Python 3.11 với type hints nghiêm ngặt.
Tất cả các hàm phải có type annotations.
Dùng snake_case cho biến và hàm.
Ưu tiên pathlib hơn os.path.
Không đề xuất các pattern Python 2 đã deprecated.

Continue tự động inject file này vào mỗi prompt chat khi bạn đang làm việc trong dự án đó. Không cần phải lặp lại cùng một context mỗi phiên làm việc nữa.

Mẹo Thực Tế Từ Sáu Tháng Dùng Hàng Ngày

Kiểm tra thực tế phần cứng: Model 7B trên máy có NVIDIA RTX 3060 (12 GB VRAM) hoàn thành một phản hồi chat điển hình trong 3–8 giây. Chỉ dùng CPU trên máy 16-core với 32 GB RAM mất 20–40 giây cho cùng phản hồi đó — dùng được cho chat, quá chậm cho autocomplete. Chỉ có CPU? Dùng model 1.5B cho tất cả mọi thứ.

Giữ autocomplete nhẹ: Lỗi lớn nhất tôi thấy là chạy model 7B cho autocomplete. Độ trễ phá vỡ luồng làm việc. Tôi đã dùng cách phân chia này — 1.5B cho tab completion, 7B cho chat — trên các dự án Python, TypeScript, và Go suốt sáu tháng mà không thay đổi lần nào. Model 1.5B bỏ sót một vài completion phức tạp. Nhưng ở dưới 200 ms, nó cảm giác như tính năng native của IDE chứ không phải đang chờ một API call.

Dùng @diff để review code: Trước khi commit, mở chat Continue và gõ @diff Review này để tìm vấn đề trước khi tôi commit. Model thấy được các staged change của bạn và đánh dấu các vấn đề mà linting bỏ qua — lỗi logic, thiếu null check, đặt tên không nhất quán.

Khởi động lại Ollama nếu phản hồi chậm đi: Sau một phiên dài, Ollama đôi khi tích lũy bộ nhớ và phản hồi chậm đi đáng kể. Một lệnh systemctl restart ollama nhanh chóng (Linux) hoặc khởi động lại ứng dụng (Windows/Mac) đưa nó về trạng thái bình thường.

Chọn model theo loại tác vụ:

  • Python / JS / TS: series qwen2.5-coder — được train trên corpus code lớn, độ chính xác autocomplete tốt nhất tôi đã test.
  • Giải thích và thảo luận kiến trúc: llama3.1:8b hoặc mistral:7b — giải thích có cấu trúc tốt hơn các model được tune cho code.
  • Dockerfile / shell scripting: Cả hai đều dùng được; các model coder có lợi thế nhỏ hơn.

Lợi ích về quyền riêng tư là thật: Trong các dự án enterprise có NDA, chạy hoàn toàn offline loại bỏ nguy cơ code độc quyền chạm đến server bên thứ ba. Điều đó một mình đã đủ lý do để chuyển đổi trên hai dự án client trước khi tôi thậm chí quan tâm đến việc tiết kiệm chi phí.

Toàn bộ setup được mô tả ở đây — embeddings, context providers, nhiều model, slash commands — mất khoảng 15 phút từ đầu đến cuối. Sau đó, Ollama chạy như một background service và Continue hoạt động trơn tru. Nhiệm vụ định kỳ duy nhất là thỉnh thoảng khởi động lại khi bộ nhớ tích lũy sau một phiên dài.

Share: