llama.cpp là gì? Đó là thư viện suy luận mô hình ngôn ngữ viết bằng C/C++, chạy ngay trên máy cá nhân mà không cần máy chủ đám mây. Bài này đi qua 4 thông số biên dịch quyết định tốc độ chạy: GGML_CUDA, GGML_METAL, GGML_VULKAN và GGML_BLAS.
Kho ggml-org/llama.cpp trên GitHub được tạo ngày 2023-03-10, giấy phép MIT, và có 134.846 sao tính tới ngày đọc 2026-11-14. README nêu rõ mục tiêu của dự án. Thư viện cho phép suy luận mô hình ngôn ngữ và mô hình thị giác-ngôn ngữ. Nó chạy với thiết lập tối thiểu và hiệu năng cao trên nhiều loại phần cứng. Nó chạy cục bộ và trên đám mây. Thư viện viết bằng C/C++ thuần, không phụ thuộc ngoài, hỗ trợ lượng tử hoá từ 1,5-bit tới 8-bit để suy luận nhanh hơn và dùng ít bộ nhớ hơn. Kèm theo là công cụ dòng lệnh llama cli chạy mô hình GGUF trực tiếp từ Hugging Face, và llama serve mở máy chủ API tương thích OpenAI.
Bốn thông số dưới đây đều nằm trong tài liệu build chính thức của dự án. Chọn sai thông số thì bản build vẫn chạy, nhưng mô hình chạy trên CPU thay vì GPU, hoặc xử lý prompt chậm hơn mức máy cho phép. Chọn đúng thì cùng một máy cho tốc độ cao hơn rõ rệt.
Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây
Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.
Thông số 1: GGML_CUDA=ON cho GPU NVIDIA
Đây là thông số đầu tiên cần bật khi máy có card NVIDIA. Tài liệu build yêu cầu cài CUDA Toolkit trước, rồi chạy:
cmake -B build -DGGML_CUDA=ON
cmake --build build --config ReleaseMặc định, llama.cpp build nhắm đúng phần cứng đang gắn trên máy lúc biên dịch. Muốn một bản build chạy được trên mọi GPU CUDA thì thêm -DGGML_NATIVE=OFF. Muốn ép kiến trúc CUDA cụ thể thì liệt kê compute capability, ví dụ -DCMAKE_CUDA_ARCHITECTURES="86;89". Tài liệu nêu ví dụ: GeForce RTX 4090 có compute capability 8.9, GeForce RTX 3080 Ti là 8.6.
Một điểm cần nhớ: bản build CUDA vẫn build cả backend CPU theo mặc định. Vì vậy máy vẫn chạy được mô hình bằng CPU khi không dùng GPU.
Thông số 2: GGML_METAL cho Apple Silicon
Trên macOS, Metal được bật mặc định. Nhờ vậy, máy Mac Apple Silicon chạy llama.cpp trên GPU mà không cần thêm thông số nào. Muốn tắt Metal khi biên dịch thì dùng -DGGML_METAL=OFF.
README ghi Apple silicon là công dân hạng nhất của dự án, tối ưu qua ARM NEON, Accelerate và Metal. Khi bản build đã có Metal, vẫn tắt được suy luận GPU lúc chạy. Dùng tham số dòng lệnh --n-gpu-layers 0. Cách này ép mô hình chạy hoàn toàn trên CPU, khi cần đo đối chiếu.

Chú thích ảnh: Mã lập trình nhiều màu trên màn hình máy tính, minh họa cho việc đọc mã nguồn llama.cpp trước khi biên dịch. Ảnh: Godfrey Atima, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).
Thông số 3: GGML_VULKAN cho GPU đa nền tảng
Vulkan là backend GPU không gắn với một hãng phần cứng. Lệnh build:
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config ReleaseTài liệu build ghi rõ có thể bật đồng thời CUDA và Vulkan trong một bản build, bằng -DGGML_CUDA=ON -DGGML_VULKAN=ON. Cách này hợp với máy có nhiều GPU khác hãng, hoặc khi muốn một bản build dùng được trên nhiều máy. README liệt kê Vulkan trong bảng backend hỗ trợ, cùng CUDA, Metal, HIP và SYCL.
Thông số 4: GGML_BLAS tăng tốc xử lý prompt trên CPU
Khi máy không có GPU phù hợp, BLAS là thông số đáng bật nhất. Lệnh build với OpenBLAS:
cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS
cmake --build build --config ReleaseCần cài OpenBLAS trước khi build. Tài liệu build của llama.cpp ghi rõ điều này. BLAS cải thiện tốc độ xử lý prompt khi batch lớn hơn 32. Batch mặc định là 512. BLAS không ảnh hưởng tốc độ sinh token, vì vậy nó giúp rõ nhất ở khâu nạp prompt dài. Trên máy Mac, Accelerate Framework được bật mặc định, chỉ cần build theo hướng dẫn thường mà không cần thêm thông số.
Bảng đối chiếu: 4 thông số biên dịch của llama.cpp
| Thông số | Phần cứng đích | Lệnh CMake | Ghi chú |
|---|---|---|---|
| GGML_CUDA | GPU NVIDIA | -DGGML_CUDA=ON | Cần CUDA Toolkit; thêm -DGGML_NATIVE=OFF để chạy mọi GPU CUDA |
GGML_METAL | Apple Silicon | Bật mặc định trên macOS; -DGGML_METAL=OFF để tắt | Tắt GPU lúc chạy bằng --n-gpu-layers 0 |
| GGML_VULKAN | GPU đa hãng | -DGGML_VULKAN=ON | Bật chung được với CUDA trong một bản build |
| GGML_BLAS | CPU mọi nền tảng | -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS | Chỉ nhanh khâu xử lý prompt, batch trên 32, batch mặc định 512 |
Bảng này chỉ đối chiếu dữ kiện trong tài liệu build chính thức của dự án. Bảng không có số đo tốc độ tự chạy.
Giới hạn và rủi ro khi tự biên dịch llama.cpp
Dùng CUDA cũ với glibc mới trên Linux có thể gây lỗi biên dịch. Tài liệu build nêu ví dụ CUDA v11.7. Lỗi xuất hiện ở hàm toán học như cospi, do chữ ký hàm không khớp. Cách xử lý ít tệ nhất là vá bản cài CUDA để khai báo đúng chữ ký hàm.
Bật biên dịch toàn bộ kernel FlashAttention sẽ kéo dài thời gian build. Cờ GGML_CUDA_FA_QUANTS=all biên dịch mọi tổ hợp K/V. Tài liệu build ghi rõ cách này làm thời gian biên dịch lâu hơn nhiều.
Hết VRAM trên GPU rời có thể làm chương trình crash. Bật GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 cho phép tràn sang RAM hệ thống thay vì crash. Tài liệu build cũng ghi rõ dùng bộ nhớ hợp nhất làm giảm hiệu năng trên GPU rời.
GGML_BLAS chỉ giúp khâu nạp prompt dài. Tài liệu build ghi rõ BLAS không ảnh hưởng tốc độ sinh token. Vì vậy đừng kỳ vọng BLAS làm mô hình trả lời nhanh hơn.
Đọc thêm trên 3a.com.vn:
- token trong AI là gì và vì sao nó quyết định chi phí gọi mô hình
- so sánh LM Studio và Ollama khi chạy mô hình trên máy cá nhân
- mô hình mã nguồn mở chạy trên máy cá nhân như thế nào
Nguồn
Nguồn
- ggml-org, "llama.cpp", GitHub, kho tạo ngày 2023-03-10, giấy phép MIT, ngày truy cập 2026-11-14. Link: https://github.com/ggml-org/llama.cpp
- ggml-org, "Build llama.cpp locally", tài liệu build trong repo llama.cpp, ngày truy cập 2026-11-14. Link: https://raw.githubusercontent.com/ggml-org/llama.cpp/master/docs/build.md
Ảnh
- Bìa: Abdul Kayum, Pexels, giấy phép Pexels, ngày 2022-01-14. Link gốc: https://www.pexels.com/photo/close-up-of-code-on-a-screen-10845119/
- Ảnh thân bài: Godfrey Atima, Pexels, giấy phép Pexels, ngày 2020-08-29. Link gốc: https://www.pexels.com/photo/programming-code-on-computer-screen-5223887/



