Benchmark tiếng Việt: 5 lý do điểm tiếng Anh chưa đủ nói lên

Điểm cao trên bảng tiếng Anh là một tín hiệu tốt, nhưng nó đo năng lực trên đề tiếng Anh, bằng kiến thức và văn hóa gắn với đề tiếng Anh. Khi chuyển sang tiếng Việt, ba thứ thay đổi cùng lúc: ngôn ngữ của câu hỏi, kiến thức nền mà câu hỏi giả định, và dữ liệu mà mô hình đã học. Bất kỳ thứ nào trong ba thứ đó cũng đủ làm điểm số đổi hướng, và cả ba thường đổi cùng lúc. Vì vậy một mô hình đứng đầu bảng tiếng Anh vẫn cần được đo lại bằng đề tiếng Việt, trên việc tiếng Việt, trước khi dùng cho người dùng Việt Nam.

Lý do 1: Đề dịch từ tiếng Anh không đo kiến thức Việt Nam

Nhóm tác giả bộ đánh giá ViLLM-Eval nói thẳng giới hạn này: việc chấm các mô hình trên bộ dữ liệu dịch từ tiếng Anh sang tiếng Việt, dù bản dịch hoàn hảo, vẫn không đánh giá đủ chất lượng thật của mô hình về kiến thức mà người dùng Việt Nam quan tâm, trong đó có văn hóa, lịch sử và pháp luật Việt Nam. Ngược lại, các bộ benchmark tiếng Anh thường mang thiên kiến địa lý về kiến thức nội địa của nơi sản xuất ra chúng. Một câu hỏi trắc nghiệm dịch sang tiếng Việt có thể vẫn giữ nguyên đáp án đúng, nhưng nó không hỏi về những gì người Việt Nam thực sự cần mô hình biết.

Vì lý do đó, các bộ đánh giá tiếng Việt được xây từ nguồn Việt Nam, không dịch từ đề tiếng Anh. Bộ VMLU do ZaloAI và JAIST xây dựng gồm 4 bộ dữ liệu là Vi-MQA, Vi-SQuAD, Vi-DROP và Vi-Dialog, trong đó Vi-MQA bao phủ 58 môn học, lấy câu hỏi từ các kỳ thi của Việt Nam, trong đó có kỳ thi tốt nghiệp trung học phổ thông do Bộ Giáo dục và Đào tạo tổ chức. Bộ ViLLM-Eval gồm 4 phần: LAMBADA tiếng Việt với 10.246 mẫu, đề thi tiếng Việt với 19.150 câu hỏi, kiến thức chung với 2.000 câu hỏi, và đọc hiểu với 900 câu hỏi. Một mô hình chưa từng được đo trên các bộ đề này thì bảng tiếng Anh không thể thay thế kết quả đo đó.

Lý do 2: Mô hình mạnh nhất vẫn còn nhiều dư địa trên đề thi tiếng Việt

Kết quả ViLLM-Eval cho thấy ngay cả mô hình tốt nhất thời điểm đó cũng chưa đạt mức có thể yên tâm dùng cho mọi việc tiếng Việt. Trên phần đề thi, ChatGPT đạt 48,62%, Vistral-7B đạt 48,76%, PhoGPT-4B đạt 41,20%, còn VinaLLaMA-7B chỉ đạt 34,34%. Trên phần kiến thức chung, Vistral-7B đạt 66,00%, cao hơn ChatGPT ở mức 54,05%, trong khi trên phần đọc hiểu ChatGPT đạt 74,21% và Vistral-7B đạt 69,78%. Một mô hình chuyên tiếng Việt với 7 tỉ tham số có thể vượt mô hình đa năng ở mảng kiến thức chung, nhưng vẫn thua ở mảng đọc hiểu, và cả hai đều chưa vượt quá một nửa số câu ở phần đề thi.

Điểm đáng chú ý là thứ hạng đổi theo từng phần thi. Nếu chỉ nhìn một con số tổng hợp, người đọc sẽ bỏ qua việc mô hình A giỏi đọc hiểu nhưng yếu kiến thức thi cử, còn mô hình B thì ngược lại. Với việc tiếng Việt cụ thể, ví dụ soạn văn bản pháp luật hay trả lời câu hỏi thi cử, thứ hạng tổng hợp tiếng Anh càng ít ý nghĩa. Nhóm ViLLM-Eval kết luận rằng ngay cả các mô hình tốt nhất vẫn còn nhiều dư địa cải thiện trong việc hiểu và trả lời các tác vụ tiếng Việt, và đó là kết luận rút ra từ đề tiếng Việt, không phải từ bảng tiếng Anh.

Bảng so sánh: điểm ViLLM-Eval theo từng phần thi (%, nguồn: Nguyen và cộng sự, arXiv:2404.11086, nộp lần đầu 2024-04-17)

Lý do 3: Điểm tiếng Anh không chuyển sang tiếng Việt, ngay cả ở tác vụ tìm kiếm

Bằng chứng trực tiếp nhất về việc điểm không chuyển ngôn ngữ đến từ một bộ đo 17 mô hình nhúng chạy ngày 2026-10-25, công bố ngày 2026-10-26. Trên tác vụ tìm kiếm tiếng Việt SciFact-VN, các mô hình đa ngôn ngữ đạt từ 0,63 đến 0,74 điểm nDCG@10, trong khi các mô hình chủ yếu cho tiếng Anh chỉ đạt từ 0,11 đến 0,42. Cụ thể, mô hình all-minilm:22m chỉ đạt 0,106, còn các mô hình mxbai-embed-large, bge-large và nomic-embed-text chỉ đạt từ 0,39 đến 0,42. Đây không phải là chênh lệch nhỏ do nhiễu đo, mà là khoảng cách giữa dùng được và gần như không dùng được cho tìm kiếm tiếng Việt.

Chính nhóm đo cũng cảnh báo giới hạn của bộ đo này: SciFact-VN là bản dịch máy từ tiếng Anh, nên nó kiểm tra văn bản tiếng Việt nhưng chưa kiểm tra từ vựng, chữ viết tắt và cách diễn đạt của tài liệu tiếng Việt gốc. Một hệ thống tìm kiếm tiếng Việt vẫn cần bộ đánh giá riêng từ tài liệu thật. Bài học rút ra là ngay cả một con số tiếng Việt đo trên đề dịch cũng chỉ là bước đầu, và một con số tiếng Anh thì còn xa hơn một bước nữa.

Lý do 4: Tiếng Việt có lớp văn hóa, phương ngữ và pháp luật mà đề chung không chạm tới

Bộ V-Bench của Trung tâm Nghiên cứu AI thuộc VinUni được xây đúng để lấp khoảng trống này. Theo bài giới thiệu, V-Bench có hơn 40.000 câu hỏi và tác vụ được biên soạn kỹ, hội đồng khoa học gồm 18 chuyên gia AI người Việt trên toàn thế giới, và đã đánh giá và công bố kết quả của 15 mô hình ngôn ngữ lớn. Bộ đo chia thành 2 nhóm lớn với 5 nhóm đánh giá chuyên biệt: văn hóa ngầm, đa dạng vùng miền, an toàn số và chủ quyền, ứng dụng thực tiễn, và năng lực tác tử AI trong môi trường Việt Nam.

Nhóm văn hóa ngầm kiểm tra khả năng hiểu lớp nghĩa sâu trong phong tục, tín ngưỡng và lịch sử Việt Nam. Nhóm vùng miền kiểm tra phương ngữ, văn phong và cách xưng hô của ba miền Bắc, Trung, Nam. Những năng lực này không xuất hiện trong đề trắc nghiệm kiến thức chung tiếng Anh, và một mô hình có thể trả lời đúng câu hỏi vật lý bằng tiếng Anh nhưng vẫn xưng hô sai, hiểu sai thành ngữ, hoặc áp dụng sai quy định pháp luật Việt Nam. Khi việc cần làm chạm tới văn hóa và pháp luật, bảng tiếng Anh vừa thiếu, vừa dễ gây hiểu lầm vì nó cho cảm giác mô hình đã được kiểm chứng đầy đủ.

Lý do 5: Mô hình có thể cải thiện nhanh bằng dữ liệu tiếng Việt chuyên ngành

Tin tốt là khoảng cách tiếng Việt không cố định. Trong cùng bộ đo 17 mô hình nhúng, nhóm nghiên cứu đã tinh chỉnh mô hình paraphrase-multilingual trên 2.505 cặp câu hỏi và văn bản pháp luật tiếng Việt, rồi đo trên 788 câu hỏi kiểm tra. Điểm nDCG@10 trên tìm kiếm pháp luật tiếng Việt tăng từ 0,500 lên 0,785 sau 133 giây huấn luyện. Một mô hình đa ngôn ngữ khác là granite-embedding-278m tăng từ 0,741 lên 0,790 trong 93 giây. Điểm SciFact-VN của hai mô hình này gần như không đổi, chỉ tăng 0,034 và giảm 0,009, nghĩa là cải thiện chuyên ngành không đánh đổi bằng việc mất năng lực chung.

Kết quả này cho thấy cách chọn mô hình tiếng Việt đúng không phải là lấy mô hình đứng đầu bảng tiếng Anh rồi hy vọng nó tự giỏi tiếng Việt. Cách đúng là lập danh sách rút gọn từ 2 đến 3 ứng viên, rồi đo lại trên chính tài liệu và câu hỏi tiếng Việt của mình, trong cùng một điều kiện đo, kèm đo độ trễ và chi phí. Một mô hình nhỏ hơn nhưng được tinh chỉnh đúng dữ liệu tiếng Việt có thể vượt mô hình lớn hơn chưa từng gặp dữ liệu đó, và chỉ có phép đo tiếng Việt mới phát hiện ra điều này.

Muốn xem một trường hợp chọn mô hình nhúng cho RAG tiếng Việt theo đúng nguyên tắc đo lại trên dữ liệu thật, xem thêm: chọn embedding cho RAG tiếng Việt. Muốn đối chiếu độ trễ của các mô hình trên câu hỏi tiếng Việt, xem thêm: so sánh độ trễ Gemini 2.5 Flash và Claude 3.7. Muốn xem một trường hợp lập trình viên Việt Nam chọn công cụ theo nhu cầu thực tế thay vì theo bảng chung, xem thêm: Cursor và Claude Code cho lập trình viên Việt.

Chú thích ảnh thân bài: Hai học sinh đọc và trao đổi sách trong thư viện, hình ảnh minh họa cho việc đánh giá ngôn ngữ phải gắn với đọc hiểu và bối cảnh thật của người học. Ảnh: Yan Krukau, Pexels.

— Quang Minh, từ phòng đo kiểm 3A.