GGUF là gì? GGUF là định dạng tệp nhị phân gói trọng số, tokenizer và metadata vào một tệp duy nhất. Tệp này chạy suy luận LLM trên CPU hoặc GPU bằng llama.cpp. Bài viết đi qua 4 định dạng nén: F16, Q8_0, Q4_K và Q2_K.
Theo đặc tả chính thức của ggml-org, GGUF lưu mô hình để suy luận với GGML. Nó là định dạng nhị phân. GGUF thay thế ba định dạng cũ là GGML, GGMF và GGJT. Nó được thiết kế để chứa mọi thông tin cần thiết trong một tệp duy nhất. Ba điểm mạnh của nó: một tệp duy nhất, tải nhanh nhờ mmap, và chứa đủ thông tin để nạp mô hình. Chỉ cần một tệp. Không cần tệp ngoài. Hugging Face cho biết thêm: GGUF mã hóa cả tensor lẫn metadata chuẩn. Nhờ vậy, nó khác các định dạng chỉ chứa tensor như safetensors. Theo đặc tả gguf.md của ggml-org, phiên bản hiện hành là GGUF v3. Tên tệp cũng theo quy ước chung. Ví dụ: Mixtral-8x7B-v0.1-KQ2.gguf gồm tên gốc, cỡ mô hình, phiên bản và mã nén.
Định dạng 1: F16, bản gốc 16-bit làm mốc so sánh
F16 lưu trọng số ở độ chính xác 16-bit. Con số này lấy từ bảng Quantization Types của Hugging Face. Đây là dạng gốc. Mọi mức nén khác đều xuất phát từ đây. File F16 giữ gần như nguyên chất lượng sau huấn luyện. Nhưng nó cũng nặng nhất. Mỗi trọng số chiếm 16 bit. Một mô hình 8 tỷ tham số ở dạng này chiếm khoảng 16 GB nếu chỉ tính riêng trọng số. Dạng này phù hợp khi máy đủ RAM hoặc VRAM, hoặc khi cần một bản gốc để nén ra các mức thấp hơn. Với máy cá nhân thông thường, F16 thường quá nặng. Đó là lý do các mức nén dưới đây tồn tại.
Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây
Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.
Định dạng 2: Q8_0, nén 8-bit gần như không mất chất lượng
Q8_0 là dạng lượng tử hóa 8-bit. Phương pháp: làm tròn tới giá trị gần nhất. Mỗi khối gồm 32 trọng số chia sẻ một hệ số tỉ lệ. Con số này lấy từ tài liệu của Hugging Face. Với 8 bit mỗi trọng số, file Q8_0 chỉ còn khoảng một nửa so với F16, chất lượng trả lời gần như giữ nguyên. Đây là lựa chọn hợp lý khi mô hình vừa đủ chỗ trong bộ nhớ. Nhớ chừa chỗ cho bộ nhớ đệm ngữ cảnh. Các công cụ chạy mô hình cục bộ đều đọc được GGUF, gồm llama.cpp, LM Studio, GPT4All và Ollama, nên file Q8_0 dùng được. Không cần chuyển đổi thêm.
Định dạng 3: Q4_K, mức 4-bit mặc định khi chạy trên máy cá nhân
Q4_K là dạng lượng tử hóa 4-bit theo nhóm K. Bảng Quantization Types của Hugging Face ghi 4,5 bit cho mỗi trọng số. Mỗi siêu khối gồm 8 khối. Mỗi khối có 32 trọng số. Trọng số bằng giá trị lượng tử nhân hệ số tỉ lệ, rồi cộng giá trị tối thiểu của khối. Nhờ vậy, file Q4_K chỉ còn khoảng 28% dung lượng so với F16. Tỉ lệ này tính trực tiếp từ 4,5 bit so với 16 bit. Chất lượng vẫn đủ dùng cho đa số tác vụ. Trò chuyện, viết văn bản và lập trình đều chạy tốt trên máy cá nhân. Đây là điểm dừng hợp lý cho người chạy LLM bằng CPU hoặc một GPU tầm trung. Chất lượng không rơi rõ rệt như các mức 2-bit hay 3-bit, nên đa số máy cá nhân chọn mức này. Nhẹ. Đủ dùng.

Chú thích ảnh: Người đàn ông gõ máy tính xách tay, bên cạnh tách cà phê, minh họa cho việc chạy mô hình GGUF trên máy cá nhân. Ảnh: MART PRODUCTION, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).
Định dạng 4: Q2_K, nén 2-bit cho máy yếu, đánh đổi rõ rệt
Q2_K là dạng lượng tử hóa 2-bit. Bảng của Hugging Face ghi 2,625 bit cho mỗi trọng số. Mỗi siêu khối gồm 16 khối. Mỗi khối có 16 trọng số. File Q2_K chỉ còn khoảng 16% dung lượng so với F16. Đó là cứu cánh khi mô hình lớn không nhét vừa bộ nhớ ở mức cao hơn. Cái giá phải trả là chất lượng. Ở 2 bit, mỗi trọng số chỉ còn vài mức giá trị. Câu trả lời dễ lạc đề, lặp từ hoặc mất mạch suy luận dài. Ngoài họ Q, đặc tả còn có họ I. Ví dụ: IQ4_NL và IQ3_S. Họ này dùng thêm ma trận quan trọng. Ma trận này quyết định trọng số nào giữ kỹ hơn. Dù chọn mức nào, nguyên tắc vẫn giống nhau: mức bit càng thấp thì file càng nhẹ và chất lượng càng giảm. Chỉ hạ xuống 2-bit khi không còn cách nào khác để mô hình chạy được. Máy yếu vẫn chạy được.
Chạy thử một tệp .gguf bằng llama.cpp chỉ cần một lệnh. Ví dụ dưới đây dùng đúng cú pháp trong tài liệu quantize của llama.cpp:
./build/bin/llama cli -m ./mo-hinh-f16.gguf --prompt "GGUF là gì?"Bảng đối chiếu: 4 định dạng nén trọng số trong GGUF
| Định dạng | Số bit/trọng số | Kích thước khối | Dung lượng so với F16 | Khi nào dùng |
|---|---|---|---|---|
F16 | 16 | Không áp dụng | 100% | Làm mốc chất lượng, máy đủ bộ nhớ |
Q8_0 | 8 | 32 trọng số | Khoảng 50% | Muốn giữ gần như nguyên chất lượng |
Q4_K | 4,5 | Siêu khối 8 khối, mỗi khối 32 trọng số | Khoảng 28% | Máy cá nhân, cân bằng dung lượng và chất lượng |
Q2_K | 2,625 | Siêu khối 16 khối, mỗi khối 16 trọng số | Khoảng 16% | Máy yếu, chấp nhận giảm chất lượng rõ rệt |
Số bit và kích thước khối trong bảng lấy từ bảng Quantization Types trong tài liệu GGUF của Hugging Face, ngày truy cập là 2026-11-14. Tỉ lệ dung lượng là phép chia trực tiếp từ số bit, với mốc so sánh là 16 bit của F16. Con số chưa tính metadata và bộ nhớ đệm ngữ cảnh.
Đọc thêm trên 3a.com.vn: Quantization là gì và 4 mức nén từ FP16 xuống INT4, so sánh LM Studio và Ollama khi chạy mô hình cục bộ và Hugging Face là gì và 4 thành phần cốt lõi.
Nguồn
Nguồn
- ggml-org, "GGUF" (đặc tả định dạng GGUF), ngày truy cập 2026-11-14. Link: https://github.com/ggml-org/ggml/blob/master/docs/gguf.md
- Hugging Face, "GGUF", ngày truy cập 2026-11-14. Link: https://huggingface.co/docs/hub/en/gguf
- ggml-org, "quantize" (tài liệu llama.cpp), ngày truy cập 2026-11-14. Link: https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md
Ảnh
- Bìa: Pavel Danilyuk, Pexels, giấy phép Pexels, ngày 2020-09-19. Link gốc: https://www.pexels.com/photo/5496464/
- Ảnh thân bài: MART PRODUCTION, Pexels, giấy phép Pexels, ngày 2021-03-25. Link gốc: https://www.pexels.com/photo/a-coffee-cup-a-man-typing-on-laptop-7256425/



