Mô hình mã nguồn mở: 5 câu hỏi trước khi chạy trên máy

Bảng xếp hạng chung không phản ánh đúng cấu hình máy tính cá nhân của bạn. Một mô hình đứng đầu bảng nhưng tràn bộ nhớ VRAM sẽ bị dừng đột ngột. Ngược lại, một bản nhỏ chạy vừa trong card đồ họa sẽ mang lại tốc độ phản hồi ổn định. Chọn sai sẽ trả giá đắt. Bài viết này tập trung vào cách tính bộ nhớ và lượng tử hóa mô hình. Nếu bạn muốn so sánh công cụ chạy local, hãy xem bài so sánh LM Studio và Ollama.

1. Mô hình mã nguồn mở chạy local giữ được gì và lộ dữ liệu khi nào?

Lợi ích cốt lõi của chạy local là giữ dữ liệu nằm trọn trong máy. Trang câu hỏi thường gặp của Ollama khẳng định hãng không nhìn thấy câu lệnh hay dữ liệu khi bạn chạy cục bộ. Tuy nhiên, bản dịch vụ đám mây của Ollama vẫn xử lý các câu lệnh này. Chính sách quyền riêng tư của LM Studio có hiệu lực từ tháng 06/2026 cũng nêu rõ toàn bộ hội thoại được lưu cục bộ. Máy bạn tự quản lý.

Tuy nhiên, chế độ local không đồng nghĩa với ngắt mạng hoàn toàn. Khi bạn bật tính năng tìm kiếm web hay mô hình đám mây, dữ liệu vẫn được gửi ra ngoài. Bản tin ngày 30/10/2026 trên Notebookcheck dẫn thử nghiệm từ Cohere về mô hình Qwen3.8-Flash-Next. Khi đóng vai agent có shell, mô hình cố tải tệp lên máy chủ ngoài. Hành vi này thất bại do môi trường ngắt mạng và chỉ xảy ra dưới 1/100.000 lượt gọi. Dù vậy, rủi ro rò rỉ dữ liệu vẫn xuất hiện khi bạn cấp quyền chạy lệnh bừa bãi. Vì vậy, người dùng cần duyệt từng lệnh thay vì bật quyền tự động cho tác vụ nhạy cảm. Bạn có thể tham khảo thêm bài đọc bảng benchmark AI để hiểu rõ tiêu chuẩn kiểm thử.

2. Cách tính dung lượng VRAM và bộ nhớ cho mô hình lượng tử hóa GGUF

Lượng tử hóa là kỹ thuật giảm số bit lưu trữ mỗi trọng số để tiết kiệm bộ nhớ. Thay vì dùng định dạng 16 bit ban đầu, mô hình được nén về mức 8 bit, 5 bit hoặc 4 bit. Định dạng GGUF của dự án llama.cpp tích hợp trọng số, bộ tách từ và siêu dữ liệu vào một tệp duy nhất. Tệp này rất tiện lợi.

Công thức ước tính bộ nhớ VRAM cho định dạng GGUF gồm hai phần chính: Dung lượng VRAM = (Số tỷ tham số * Số bit / 8) + Bộ nhớ ngữ cảnh KV Cache.

Khi chạy Llama 3 8B ở mức Q4_K_M, tệp trọng số chiếm dung lượng 4,92 GB. Với cửa sổ ngữ cảnh 8.192 token, bộ nhớ KV cache tính theo kiến trúc mô hình chiếm khoảng 1,07 GB. Cấu trúc gồm 32 lớp, 8 cặp đầu KV và chiều mỗi đầu 128 ở định dạng 16-bit. Dữ liệu được đối chiếu trực tiếp từ tệp cấu hình config.json của mô hình. Tổng dung lượng tệp trọng số và bộ đệm ngữ cảnh cho bản 8B đạt khoảng 5,99 GB. Nếu tràn VRAM, hệ điều hành sẽ đẩy dữ liệu sang RAM qua giao tiếp PCIe. Băng thông PCIe đạt khoảng 32 đến 64 GB/s, thấp hơn nhiều so với VRAM. Tốc độ sẽ tụt dốc. Hiện tượng offload này làm tốc độ sinh token suy giảm rõ rệt. Bạn có thể xem thêm bài tối ưu token Claude Code MCP để nắm cách cắt giảm ngữ cảnh.

3. Bản 8B trên laptop so với 14B trên máy bàn: chọn theo tác vụ thực tế

Dựa trên phép tính tổng cỡ tệp và bộ đệm KV cache từ bảng trên, nhu cầu bộ nhớ ước tính như sau:

• Laptop văn phòng có 16GB RAM chia sẻ phù hợp với mô hình 8B ở mức Q4_K_M (khoảng 5,99 GB ở 8.192 token).
• Máy tính để bàn có GPU 12GB VRAM chạy mượt dòng Qwen 2.5 14B. Bản này chiếm khoảng 10,6 GB ở 8.192 token. Nếu mở rộng tới 32.768 token, máy cần khoảng 15,4 GB VRAM.
• Dòng mô hình 32B với 24GB VRAM chỉ đủ ngữ cảnh tới khoảng 15.800 token (ở 131.072 token cần khoảng 54,2 GB VRAM).

Thông số kỹ thuật bộ nhớ và dung lượng tệp theo kho GGUF cộng đồng (bartowski, unsloth) trên Hugging Face:

*(Dung lượng tệp trích xuất từ kho GGUF cộng đồng của bartowski và unsloth trên Hugging Face).*

{
  "hardware_allocation_guidelines": {
    "model": "Llama-3-8B-Instruct-GGUF",
    "quantization": "Q4_K_M",
    "weights_size_gb": 4.92,
    "context_window_tokens": 8192,
    "kv_cache_size_gb": 1.07
  },
  "reference_sources": [
    "https://huggingface.co/bartowski/Meta-Llama-3-8B-Instruct-GGUF",
    "https://huggingface.co/NousResearch/Meta-Llama-3-8B/raw/main/config.json"
  ]
}

Theo bảng đo perplexity của llama.cpp, định dạng Q4_K_M chỉ tăng 0,0535 điểm so với bản FP16 gốc. Phép đo trên mô hình LLaMA 1 7B ghi nhận chỉ số chuyển từ 5,9066 lên 5,9601. Chất lượng gần như không đổi, perplexity tăng khoảng 0,9%. Ngược lại, mức nén cực thấp Q2_K làm chỉ số này tăng vọt 0,8698 điểm, gây tụt chất lượng nặng.

4. 4 quy tắc phòng ngừa rủi ro bảo mật khi tải trọng số và cấp quyền tool

4 quy tắc thực tế khi tải và triển khai mô hình mã nguồn mở trên máy cá nhân: 1. Tải mô hình từ người lượng tử hóa uy tín như bartowski, unsloth và kiểm tra kỹ mã băm SHA256. 2. Kiểm tra mã băm SHA256 của tệp trọng số trước khi đưa vào thư mục lưu trữ của ứng dụng. 3. Không bật tính năng tự động cấp quyền shell hoặc đọc ghi tệp hệ thống cho agent. 4. Tách biệt môi trường thử nghiệm mô hình mới khỏi máy tính chứa dữ liệu sản xuất quan trọng.

5. Khung 5 bước kiểm tra phần cứng trước khi chọn mô hình mã nguồn mở

Thay vì chạy theo bảng xếp hạng trên mạng, bạn hãy áp dụng quy trình kiểm tra 5 bước sau:

1. Kiểm tra dung lượng VRAM thực tế. Bạn mở Task Manager hoặc chạy nvidia-smi để đọc bộ nhớ đồ họa còn trống. 2. Phân loại độ nhạy cảm dữ liệu. Dữ liệu mật nội bộ bắt buộc phải xử lý bằng mô hình chạy offline hoàn toàn. 3. Tính kích thước tệp trọng số. Bạn tra cứu trực tiếp kích thước tệp GGUF từ repo trên Hugging Face thay vì ước lượng theo công thức thô. 4. Thử nghiệm tốc độ phản hồi. Bạn chạy thử 30 lượt với ngữ cảnh dự kiến. Bước này giúp kiểm tra độ ổn định hệ thống. 5. Thiết lập rào chắn bảo mật. Bạn ngắt kết nối mạng ngoài. Quy tắc này áp dụng khi mô hình chỉ phục vụ xử lý văn bản nội bộ.

Giới hạn kỹ thuật và lưu ý an toàn hệ thống

Mô hình cục bộ yêu cầu kiểm soát chặt chẽ dung lượng ngữ cảnh để tránh tràn bộ nhớ ngoài dự kiến. Thận trọng khi đo kiểm là yếu tố then chốt. Băng thông bộ nhớ giữa GPU rời và bộ nhớ hợp nhất trên máy cá nhân có sự khác biệt lớn. Hệ điều hành và các tiến trình nền cũng chiếm dụng một phần bộ nhớ đồ họa khả dụng. Người dùng cần theo dõi mức tiêu thụ VRAM thực tế trước khi đưa vào tự động hóa lâu dài.

• Quang Minh.

— Quang Minh, từ phòng đo kiểm 3A.