3A.COM.VN

Kỹ Thuật Dev

llama.cpp là gì: 4 thông số biên dịch chạy LLM tốc độ cao

llama.cpp là gì? Đó là thư viện suy luận mô hình ngôn ngữ viết bằng C/C++, chạy ngay trên máy cá nhân mà không cần máy chủ đám mây. Bài này đi qua 4 thông số biên dịch quyết định tốc độ chạy: GGML_CUDA, GGML_METAL, GGML_VULKAN và GGML_BLAS.

Sản phẩm trong bài:
Llama / Meta
Quang Minh· Trưởng ban Nghiên cứu & Đo kiểm AI6 phút đọc18/11/20260 lượt xem
llama.cpp là gì: 4 thông số biên dịch chạy LLM tốc độ cao
Llama / Meta

llama.cpp là gì? Đó là thư viện suy luận mô hình ngôn ngữ viết bằng C/C++, chạy ngay trên máy cá nhân mà không cần máy chủ đám mây. Bài này đi qua 4 thông số biên dịch quyết định tốc độ chạy: GGML_CUDA, GGML_METAL, GGML_VULKAN và GGML_BLAS.

Kho ggml-org/llama.cpp trên GitHub được tạo ngày 2023-03-10, giấy phép MIT, và có 134.846 sao tính tới ngày đọc 2026-11-14. README nêu rõ mục tiêu của dự án. Thư viện cho phép suy luận mô hình ngôn ngữ và mô hình thị giác-ngôn ngữ. Nó chạy với thiết lập tối thiểu và hiệu năng cao trên nhiều loại phần cứng. Nó chạy cục bộ và trên đám mây. Thư viện viết bằng C/C++ thuần, không phụ thuộc ngoài, hỗ trợ lượng tử hoá từ 1,5-bit tới 8-bit để suy luận nhanh hơn và dùng ít bộ nhớ hơn. Kèm theo là công cụ dòng lệnh llama cli chạy mô hình GGUF trực tiếp từ Hugging Face, và llama serve mở máy chủ API tương thích OpenAI.

Bốn thông số dưới đây đều nằm trong tài liệu build chính thức của dự án. Chọn sai thông số thì bản build vẫn chạy, nhưng mô hình chạy trên CPU thay vì GPU, hoặc xử lý prompt chậm hơn mức máy cho phép. Chọn đúng thì cùng một máy cho tốc độ cao hơn rõ rệt.

Dự án nội bộ · 3A AI Stack Advisor

Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây

Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.

Thông số 1: GGML_CUDA=ON cho GPU NVIDIA

Đây là thông số đầu tiên cần bật khi máy có card NVIDIA. Tài liệu build yêu cầu cài CUDA Toolkit trước, rồi chạy:

bash
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

Mặc định, llama.cpp build nhắm đúng phần cứng đang gắn trên máy lúc biên dịch. Muốn một bản build chạy được trên mọi GPU CUDA thì thêm -DGGML_NATIVE=OFF. Muốn ép kiến trúc CUDA cụ thể thì liệt kê compute capability, ví dụ -DCMAKE_CUDA_ARCHITECTURES="86;89". Tài liệu nêu ví dụ: GeForce RTX 4090 có compute capability 8.9, GeForce RTX 3080 Ti là 8.6.

Một điểm cần nhớ: bản build CUDA vẫn build cả backend CPU theo mặc định. Vì vậy máy vẫn chạy được mô hình bằng CPU khi không dùng GPU.

Thông số 2: GGML_METAL cho Apple Silicon

Trên macOS, Metal được bật mặc định. Nhờ vậy, máy Mac Apple Silicon chạy llama.cpp trên GPU mà không cần thêm thông số nào. Muốn tắt Metal khi biên dịch thì dùng -DGGML_METAL=OFF.

README ghi Apple silicon là công dân hạng nhất của dự án, tối ưu qua ARM NEON, Accelerate và Metal. Khi bản build đã có Metal, vẫn tắt được suy luận GPU lúc chạy. Dùng tham số dòng lệnh --n-gpu-layers 0. Cách này ép mô hình chạy hoàn toàn trên CPU, khi cần đo đối chiếu.

Mã lập trình nhiều màu trên màn hình máy tính
Mã lập trình nhiều màu trên màn hình máy tínhNguồn chính hãng / Kho ảnh bản quyền mở · Official / Free Commercial License

Chú thích ảnh: Mã lập trình nhiều màu trên màn hình máy tính, minh họa cho việc đọc mã nguồn llama.cpp trước khi biên dịch. Ảnh: Godfrey Atima, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).

Thông số 3: GGML_VULKAN cho GPU đa nền tảng

Vulkan là backend GPU không gắn với một hãng phần cứng. Lệnh build:

bash
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config Release

Tài liệu build ghi rõ có thể bật đồng thời CUDA và Vulkan trong một bản build, bằng -DGGML_CUDA=ON -DGGML_VULKAN=ON. Cách này hợp với máy có nhiều GPU khác hãng, hoặc khi muốn một bản build dùng được trên nhiều máy. README liệt kê Vulkan trong bảng backend hỗ trợ, cùng CUDA, Metal, HIP và SYCL.

Thông số 4: GGML_BLAS tăng tốc xử lý prompt trên CPU

Khi máy không có GPU phù hợp, BLAS là thông số đáng bật nhất. Lệnh build với OpenBLAS:

bash
cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS
cmake --build build --config Release

Cần cài OpenBLAS trước khi build. Tài liệu build của llama.cpp ghi rõ điều này. BLAS cải thiện tốc độ xử lý prompt khi batch lớn hơn 32. Batch mặc định là 512. BLAS không ảnh hưởng tốc độ sinh token, vì vậy nó giúp rõ nhất ở khâu nạp prompt dài. Trên máy Mac, Accelerate Framework được bật mặc định, chỉ cần build theo hướng dẫn thường mà không cần thêm thông số.

Bảng đối chiếu: 4 thông số biên dịch của llama.cpp

Thông sốPhần cứng đíchLệnh CMakeGhi chú
GGML_CUDAGPU NVIDIA-DGGML_CUDA=ONCần CUDA Toolkit; thêm -DGGML_NATIVE=OFF để chạy mọi GPU CUDA
GGML_METAL
Apple SiliconBật mặc định trên macOS; -DGGML_METAL=OFF để tắtTắt GPU lúc chạy bằng --n-gpu-layers 0
GGML_VULKANGPU đa hãng-DGGML_VULKAN=ONBật chung được với CUDA trong một bản build
GGML_BLASCPU mọi nền tảng-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLASChỉ nhanh khâu xử lý prompt, batch trên 32, batch mặc định 512

Bảng này chỉ đối chiếu dữ kiện trong tài liệu build chính thức của dự án. Bảng không có số đo tốc độ tự chạy.

Giới hạn và rủi ro khi tự biên dịch llama.cpp

Dùng CUDA cũ với glibc mới trên Linux có thể gây lỗi biên dịch. Tài liệu build nêu ví dụ CUDA v11.7. Lỗi xuất hiện ở hàm toán học như cospi, do chữ ký hàm không khớp. Cách xử lý ít tệ nhất là vá bản cài CUDA để khai báo đúng chữ ký hàm.

Bật biên dịch toàn bộ kernel FlashAttention sẽ kéo dài thời gian build. Cờ GGML_CUDA_FA_QUANTS=all biên dịch mọi tổ hợp K/V. Tài liệu build ghi rõ cách này làm thời gian biên dịch lâu hơn nhiều.

Hết VRAM trên GPU rời có thể làm chương trình crash. Bật GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 cho phép tràn sang RAM hệ thống thay vì crash. Tài liệu build cũng ghi rõ dùng bộ nhớ hợp nhất làm giảm hiệu năng trên GPU rời.

GGML_BLAS chỉ giúp khâu nạp prompt dài. Tài liệu build ghi rõ BLAS không ảnh hưởng tốc độ sinh token. Vì vậy đừng kỳ vọng BLAS làm mô hình trả lời nhanh hơn.

Đọc thêm trên 3a.com.vn:

Nguồn

Nguồn

  • ggml-org, "llama.cpp", GitHub, kho tạo ngày 2023-03-10, giấy phép MIT, ngày truy cập 2026-11-14. Link: https://github.com/ggml-org/llama.cpp
  • ggml-org, "Build llama.cpp locally", tài liệu build trong repo llama.cpp, ngày truy cập 2026-11-14. Link: https://raw.githubusercontent.com/ggml-org/llama.cpp/master/docs/build.md

Ảnh

  • Bìa: Abdul Kayum, Pexels, giấy phép Pexels, ngày 2022-01-14. Link gốc: https://www.pexels.com/photo/close-up-of-code-on-a-screen-10845119/
  • Ảnh thân bài: Godfrey Atima, Pexels, giấy phép Pexels, ngày 2020-08-29. Link gốc: https://www.pexels.com/photo/programming-code-on-computer-screen-5223887/
— Quang Minh, từ phòng đo kiểm 3A.

Bài liên quan