Quantization là gì: 4 mức nén FP16 xuống INT4 đổi lấy VRAM

Quantization là gì? Trong học sâu, đây là kỹ thuật nén trọng số của mô hình AI từ số thực 16-bit xuống số nguyên 8-bit hoặc 4-bit. Phép nén này giảm mạnh dung lượng bộ nhớ VRAM cần thiết. Theo Google Suggest Việt Nam ngày 2026-11-08, truy vấn quantization là gì có đủ 10 gợi ý tìm kiếm. Người đọc quan tâm nhất tới model quantization là gì và quantization error là gì.

Model Quantization là gì và công thức tính VRAM theo số bit?

Khi hãng phát hành mô hình mã nguồn mở như Llama 8B ở chuẩn FP16, mỗi tham số chiếm đúng 2 byte bộ nhớ. Như vậy riêng phần trọng số tĩnh của bản 8 tỷ tham số đã ngốn khoảng 16 GB VRAM. Con số này chưa tính bộ đệm ngữ cảnh KV cache.

Lượng tử hoá sau huấn luyện ánh xạ dải số thực liên tục về một lưới giá trị rời rạc nhỏ hơn. Kho mã ggml-org/llama.cpp trên GitHub đã đạt 133.704 sao và 25.254 bản fork tính đến ngày 2026-11-08. Công cụ này cùng định dạng GGUF giúp chạy mô hình nén 4-bit ngay trên máy cá nhân và Ollama.

Dưới đây là lệnh chạy mô hình nén chuẩn Q4_K_M bằng công cụ dòng lệnh:

# Chạy bản lượng tử hoá 4-bit Q4_K_M giúp tiết kiệm hơn 65% VRAM
llama-cli -m Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -ngl 99 -c 8192 -p "Kiểm tra sai số lượng tử hoá"

Bảng đối chiếu 4 mức lượng tử hoá cho mô hình 8B và 70B tham số

Theo tài liệu của Hugging Face và llama.cpp, mỗi mức cắt giảm bit có tỷ lệ đánh đổi khác nhau. Kỹ sư phải cân bằng giữa VRAM và sai số perplexity.

Nhờ mức nén Q4_K_M, một máy tính có 8 GB VRAM đã tải gọn được mô hình 8B. Bạn có thể xem đối chiếu công cụ chạy tại bài LM Studio và Ollama: khác nhau ở đâu. Xem thêm cấu hình phần cứng tại bài mô hình mã nguồn mở chạy trên máy cá nhân. Nếu không muốn tự chạy, hãy so với giá API của mô hình gốc trước khi mua thêm GPU.

*Ảnh: Pavel Danilyuk, Pexels, giấy phép Pexels, ngày đăng trên Pexels 2021-06-22. Kỹ sư phần cứng kiểm tra cụm máy trạm và thiết bị xử lý dữ liệu.*

Khi nào nén xuống 4-bit làm suy giảm chất lượng suy luận và sinh mã?

Sai số lượng tử hoá (quantization error) là độ lệch toán học giữa số thực ban đầu và giá trị làm tròn sau khi nén. Ở tác vụ tóm tắt văn bản hoặc trò chuyện thường ngày, mức nén 4-bit Q4_K_M giữ được gần trọn vẹn mạch văn.

Tuy nhiên, sai số này bộc lộ rõ ở bài toán đòi hỏi độ chính xác tuyệt đối từng ký tự. Khi mô hình viết mã nguồn phức tạp hoặc xuất JSON nhiều tầng, bản 4-bit dễ sinh lỗi cú pháp hơn bản 8-bit. Với mô hình nhỏ dưới 3 tỷ tham số, mật độ thông tin trên mỗi trọng số rất dày. Vì vậy việc ép xuống 4-bit sẽ làm tụt điểm mạnh hơn nhiều so với bản 70B.

3 ranh giới: sai số tác vụ code, tương thích phần cứng và bộ nhớ KV Cache

Trước khi đưa mô hình nén vào vận hành thật, đội kỹ thuật phải kiểm chứng 3 ranh giới:

• Điểm mù trên tác vụ tiếng Việt và sinh mã. Các bảng đo của hãng thường chỉ chấm trên tiếng Anh chuẩn. Khi nén xuống INT4, khả năng xử lý từ hiếm sẽ giảm trước tiên. Hãy kiểm tra theo bài đọc bảng benchmark AI không bị đánh lừa.
• Chi phí bộ nhớ ngữ cảnh `KV Cache` chưa tính trong kích thước tệp. Tệp GGUF nặng 4,9 GB không đồng nghĩa thẻ đồ hoạ 6 GB chạy được ngữ cảnh 32.000 token. Khi kéo dài cuộc hội thoại, phần đệm KV Cache sẽ phình thêm nhiều gigabyte và gây tràn VRAM.
• Năng lực thực thi theo kiến trúc GPU. Định dạng AWQ và GPTQ tối ưu riêng cho nhân Tensor trên GPU NVIDIA đời mới. Ngược lại, máy Mac hoặc máy chạy CPU kết hợp GPU sẽ đạt tốc độ cao hơn với định dạng GGUF của llama.cpp.

— Quang Minh, từ phòng đo kiểm 3A.