LoRA là gì trong AI: 3 tham số cốt lõi khi tinh chỉnh LLM

LoRA là gì trong AI? Đây là viết tắt của cụm *Low-Rank Adaptation*. Kỹ thuật này đóng băng trọng số gốc của mô hình ngôn ngữ lớn rồi chỉ huấn luyện hai ma trận phụ rất nhỏ. Theo Google Suggest Việt Nam ngày 2026-11-08, người dùng thường gõ rõ lora là gì trong ai hoặc train lora là gì. Cách gõ này giúp tránh nhầm với sóng vô tuyến LoRa trong thiết bị IoT.

LoRA trong AI (Low-Rank Adaptation) hoạt động theo cơ chế toán học nào?

Khi tinh chỉnh toàn bộ (Full Fine-tuning) mô hình Llama 8B hay 70B, hệ thống phải lưu đạo hàm cho từng tham số. Quá trình này ngốn bộ nhớ VRAM gấp 3 đến 4 lần so với lúc chạy suy luận.

Năm 2021, nhóm nghiên cứu của Hu và cộng sự công bố bài báo gốc về LoRA. Họ chứng minh sự thay đổi trọng số khi học tác vụ mới có "hạng nội tại thấp". Hệ thống sẽ giữ nguyên ma trận gốc W cỡ lớn. Thay vào đó, nó chỉ chèn thêm hai ma trận nhỏ A và B đi song song. Thư viện chính hãng huggingface/peft đã đạt 21.877 sao và 2.651 bản fork trên GitHub tính đến ngày 2026-11-08.

3 tham số quyết định trong `LoraConfig`: `r`, `lora_alpha` và `target_modules`

Khi mở mã nguồn huấn luyện dùng thư viện peft, chất lượng của bộ chuyển đổi nằm ở 3 tham số cấu hình sau:

1. Hạng ma trận (`r` - Rank). Quyết định số chiều nút thắt cổ chai của hai ma trận phụ. Giá trị r thường chọn ở mức 8, 16, 32 hoặc 64. 2. Hệ số khuếch đại (`lora_alpha`). Xác định mức độ ảnh hưởng của trọng số mới thông qua tỷ lệ lora_alpha / r. Quy tắc phổ biến là đặt lora_alpha bằng r hoặc gấp đôi r. 3. Lớp mục tiêu (`target_modules`). Tham số này chỉ định các lớp tuyến tính được gắn ma trận phụ. Các lớp phổ biến gồm q_proj, k_proj, v_proj, o_proj và gate_proj.

Đoạn mã Python dưới đây minh hoạ cấu hình chuẩn trong thư viện peft của Hugging Face:

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.05,
    task_type="CAUSAL_LM"
)

Bảng đối chiếu Full Fine-tuning, LoRA 16-bit và QLoRA 4-bit

Năm 2023, nhóm của Dettmers giới thiệu thêm QLoRA. Phương pháp này nén mô hình gốc xuống chuẩn 4-bit NormalFloat (NF4) rồi gắn LoRA 16-bit lên trên.

Nhờ tệp đầu ra chỉ nặng vài chục megabyte, kỹ sư dễ dàng tráo nhanh nhiều bộ adapter trên cùng một mô hình nền. Xem cách chọn mô hình nền tại bài mô hình mã nguồn mở chạy trên máy cá nhân. Đối chiếu thêm công cụ chạy tại bài LM Studio và Ollama: khác nhau ở đâu.

*Ảnh: Amina Filkins, Pexels, giấy phép Pexels, ngày đăng trên Pexels 2021-05-13. Nhân sự kỹ thuật rà soát thông số huấn luyện mô hình trên máy tính.*

Điểm mù khi chọn `r` quá lớn hoặc bỏ sót các lớp tuyến tính

Dù giúp tiết kiệm tài nguyên lớn, việc cấu hình train lora thiếu kiểm chứng vẫn dẫn tới 3 rủi ro vận hành:

• Điểm mù khi chỉ gắn vào `q_proj` và `v_proj`. Các ví dụ mẫu đời đầu chỉ gắn LoRA vào hai lớp chú ý để tiết kiệm bộ nhớ. Nghiên cứu QLoRA chỉ rõ rằng gắn vào toàn bộ lớp tuyến tính quan trọng hơn nhiều so với việc tăng số hạng r.
• Chi phí tăng `r` không mang lại thêm trí tuệ. Tăng r từ 16 lên 256 trên tập dữ liệu nhỏ chỉ làm mô hình học vẹt nhanh hơn. Nó cũng gây tốn thêm VRAM vô ích.
• Ranh giới giữa học định dạng và suy luận sâu. LoRA rất mạnh khi ép mô hình trả lời đúng khuôn mẫu nội bộ. Tuy nhiên, nó không thay thế được các mô hình suy luận chuyên dụng của OpenAI hay Claude. Hãy đối chiếu thêm tại bài suy luận dài: khi nào đáng giá.

— Hoàng Nam, thử trước khi bạn xuống tiền.