Mixture of Experts là gì? Mixture of Experts là kiến trúc chia mỗi lớp mạng thành nhiều chuyên gia nhỏ, router chỉ bật vài chuyên gia cho mỗi token. Bài này nêu 3 ưu thế: tính toán ít hơn, dung lượng lớn hơn và mở rộng rẻ hơn.
Mô hình ngôn ngữ lớn thường tốn kém vì mọi tham số đều chạy cho mọi token. Mixture of Experts, viết tắt là MoE, phá vỡ quy tắc đó. Mô hình giữ kho tham số lớn, nhưng mỗi token chỉ đi qua một phần nhỏ của kho. Mixtral 8x7B của Mistral AI là ví dụ nổi bật nhất của kiến trúc này với trọng số mở.
Bài báo Mixtral of Experts, nộp ngày 08/01/2024, mô tả rõ: mỗi lớp của mô hình gồm 8 khối feedforward, gọi là chuyên gia. Với mỗi token, ở mỗi lớp, mạng router chọn 2 chuyên gia để xử lý rồi cộng gộp đầu ra. Nhờ vậy mỗi token tiếp cận 47B tham số nhưng chỉ dùng 13B tham số trong lúc suy luận.
Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây
Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.
Ưu thế 1: Chỉ tính toán với 2 trong 8 chuyên gia
Router là một lớp tuyến tính nhỏ. Nó chấm điểm 8 chuyên gia cho mỗi token, giữ lại 2 điểm cao nhất rồi chuẩn hoá bằng softmax. Hai chuyên gia được chọn xử lý token, 6 chuyên gia còn lại đứng ngoài. Đầu ra là tổng có trọng số của hai chuyên gia đó.
Mỗi chuyên gia là một khối SwiGLU như trong transformer thường. Phần attention, embedding và chuẩn hoá vẫn dùng chung, chỉ khối feedforward mới tách thành chuyên gia. Cách tách này trúng đúng chỗ tốn tham số nhất của mô hình, nên hiệu quả tiết kiệm tính toán là lớn nhất.
Ưu thế 2: Dung lượng 47B mà tốc độ như mô hình 13B
Tổng tham số của Mixtral 8x7B là 46,7B, nhưng tham số dùng cho mỗi token chỉ 12,9B. Mistral AI ghi rõ: mô hình xử lý đầu vào và sinh đầu ra với cùng tốc độ và chi phí như một mô hình 12,9B. Đây là ưu thế cốt lõi của MoE: dung lượng lớn để chứa tri thức, chi phí tính toán nhỏ để chạy thật.
Chất lượng không phải đánh đổi. Mixtral đạt 70,6% trên MMLU, vượt Llama 2 70B với 69,9% và GPT-3.5 với 70,0%. Bản Instruct đạt 8,30 điểm MT-Bench, ngang GPT-3.5 Turbo. Mistral AI cho biết tốc độ suy luận nhanh gấp 6 lần Llama 2 70B.

Chú thích ảnh: Bàn tay chạm vào bảng mạch, gợi nhớ phần cứng phải gánh toàn bộ chuyên gia của mô hình MoE. Ảnh: SHVETS production, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).
Ưu thế 3: Mở rộng rẻ hơn so với mô hình dày cùng chất lượng
Bài báo nêu một hệ quả quan trọng: tăng số chuyên gia trong khi giữ số chuyên gia dùng cho mỗi token cố định thì tổng tham số tăng, còn chi phí tính toán gần như không đổi. Nói cách khác, đội làm mô hình có thể tăng dung lượng mà không phải trả thêm chi phí cho mỗi token.
Cần nói rõ một giới hạn: toàn bộ 47B tham số vẫn phải nằm trong bộ nhớ khi chạy, vì router có thể gọi bất kỳ chuyên gia nào. MoE tiết kiệm VRAM khi so với mô hình dày cùng chất lượng, cụ thể là Llama 2 70B cần chứa 70B tham số, còn Mixtral chỉ cần 47B. Ai triển khai MoE vẫn phải tính đủ VRAM cho toàn bộ chuyên gia, kể cả những chuyên gia đang đứng ngoài.
Bảng đối chiếu: Mixtral 8x7B, Llama 2 70B và GPT-3.5
| Bài đo | Llama 2 70B | GPT-3.5 | Mixtral 8x7B |
|---|---|---|---|
| MMLU | 69,9% | 70,0% | 70,6% |
| HellaSwag | 87,1% | 85,5% | 86,7% |
| ARC Challenge | 85,1% | 85,2% | 85,8% |
| MBPP | 49,8% | 52,2% | 60,7% |
| GSM-8K | 53,6% | 57,1% | 58,4% |
| MT-Bench | 6,86 | 8,32 | 8,30 |
Số liệu theo bảng 3 trong bài báo Mixtral of Experts, ngày 2024-01-08. Mixtral dùng 13B tham số cho mỗi token, trong khi Llama 2 70B dùng đủ 70B.
Đọc thêm trên 3a.com.vn: quantization là gì, LoRA là gì trong AI và fine-tuning là gì.
Nguồn
Nguồn
- Jiang và cộng sự, "Mixtral of Experts", nộp ngày 2024-01-08. Link: https://arxiv.org/abs/2401.04088
- Mistral AI, "Mixtral of experts", đăng ngày 2023-12-11. Link: https://mistral.ai/news/mixtral-of-experts/
Ảnh
- Bìa: Matheus Bertelli, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/34552796/
- Ảnh thân bài: SHVETS production, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/7562085/



