Đọc bảng benchmark AI: cùng mô hình, khác bảng, lệch điểm

Một bảng benchmark thường chỉ in một con số cho mỗi mô hình, nhưng con số đó không bao giờ đứng một mình. Đằng sau nó luôn có một cách đo: đề nào, gợi ý ra sao, mô hình được trả lời mấy lần, đáp án được chấm bằng cách nào, và đề thi có từng xuất hiện trong dữ liệu huấn luyện hay không. Đổi một trong các yếu tố đó, điểm số đổi theo, dù mô hình không đổi. Vì vậy đọc benchmark đúng nghĩa là đọc cả cách đo, không chỉ đọc thứ hạng.

Bài học 1: Một mô hình, ba điểm số khi đổi cách lấy mẫu

Ví dụ rõ nhất đến từ OpenAI với mô hình o1 trên kỳ thi toán AIME 2024. Theo bài công bố ngày 2024-09-12 của OpenAI, o1 đạt trung bình 74% khi mỗi bài chỉ lấy một mẫu trả lời duy nhất, 83% khi lấy đồng thuận từ 64 mẫu, và 93% khi xếp hạng lại 1000 mẫu bằng một hàm chấm đã học. Cả ba con số đều đúng, nhưng chúng đo ba hệ thống khác nhau: một lần trả lời, bỏ phiếu đa số, và trả lời kèm bộ xếp hạng phụ. Người đọc chỉ thấy con số 93% mà không biết cách đo sẽ tưởng mô hình trả lời đúng 93% số bài ngay lần đầu, trong khi lần đầu thực tế là 74%.

Cùng một kiểu lệch xuất hiện ở bài kiểm tra đa phương thức MMMU. Theo bài phân tích báo cáo kỹ thuật Gemini 1.0 của Google, Gemini 1.0 Ultra đạt 59,4% trên tập kiểm chứng MMMU khi cho một đáp án cho mỗi câu, và 62,4% khi lấy đáp án phổ biến nhất trong 32 mẫu. Chênh lệch 3 điểm phần trăm này không đến từ việc mô hình thông minh hơn, mà đến từ việc cho mô hình thử nhiều lần rồi chọn đáp án hay gặp nhất. Khi so hai mô hình, chỉ nên so hai con số dùng cùng một cách lấy mẫu.

Bảng đối chiếu phương pháp đo (nguồn OpenAI 2024-09-12 và phân tích báo cáo Gemini 1.0):

Đọc bảng này theo hàng: cùng một mô hình, chỉ đổi cách lấy mẫu, điểm đã đổi. Vì vậy hai mô hình chỉ so được khi cùng một hàng phương pháp đo.

Bài học 2: Bật suy luận từng bước là đổi bài kiểm tra, không chỉ đổi cách trình bày

Cách gợi ý cũng làm thay đổi điểm số, và mức thay đổi phụ thuộc vào độ khó của đề. Trên bộ MMLU-Pro, nhóm tác giả báo cáo GPT-4o đạt 72,6% khi dùng gợi ý suy luận từng bước theo chuỗi (chain of thought) với 5 ví dụ mẫu, nhưng chỉ đạt 53,5% khi trả lời trực tiếp không qua bước suy luận. Khoảng chênh 19,1 điểm phần trăm này có nghĩa là cùng một mô hình, cùng một bộ đề, chỉ đổi cách gợi ý đã đổi gần một phần năm số câu trả lời đúng.

Điều đáng chú ý là trên bộ MMLU gốc, suy luận từng bước gần như không giúp ích, thậm chí có thể làm giảm điểm, vì phần lớn câu hỏi MMLU kiểm tra kiến thức hơn là suy luận nhiều bước. Nhóm MMLU-Pro cũng ghi nhận độ nhạy của điểm số trước cách viết gợi ý: với 24 kiểu gợi ý khác nhau, điểm số dao động khoảng 4% đến 5% trên MMLU, nhưng chỉ còn khoảng 2% trên MMLU-Pro. Nói cách khác, một bảng chỉ ghi tên mô hình và điểm số mà không ghi rõ có dùng suy luận từng bước hay không thì chưa đủ để so sánh. Với bài toán của bạn, cách gợi ý bạn sẽ dùng thực tế mới là cách đo có ý nghĩa, không phải cách gợi ý cho điểm cao nhất trong bảng.

Bài học 3: Đổi sang đề khó hơn thì điểm rơi, không có nghĩa mô hình yếu đi

MMLU-Pro được thiết kế để khó hơn MMLU gốc: bộ đề có 12.032 câu hỏi thuộc 14 lĩnh vực, mỗi câu có tới 10 phương án thay vì 4 phương án như MMLU, và các câu quá dễ hoặc ghi nhãn sai đã bị loại bỏ. Nhóm tác giả báo cáo điểm số của các mô hình giảm từ 16% đến 33% khi chuyển từ MMLU sang MMLU-Pro. Riêng GPT-4o đạt 88,7% trên MMLU nhưng chỉ 72,6% trên MMLU-Pro với gợi ý suy luận từng bước. Khoảng cách giữa GPT-4o và GPT-4-Turbo cũng giãn ra: chỉ 1% trên MMLU nhưng thành 9% trên MMLU-Pro, trong đó GPT-4-Turbo đạt 63,7% trên MMLU-Pro.

Bảng dưới đây đối chiếu điểm của GPT-4o và GPT-4-Turbo trên MMLU và MMLU-Pro, kèm cách gợi ý đã dùng (nguồn nhóm MMLU-Pro 2024-06-03):

Một ví dụ khác là Gemini 1.0 Ultra trên MMLU. Theo bài phân tích báo cáo kỹ thuật của Google, Ultra đạt 90,0% với phương pháp suy luận từng bước có định tuyến theo độ không chắc chắn và lấy đồng thuận từ 32 mẫu, vượt mức chuyên gia 89,8% mà nhóm tác giả MMLU ước tính. Nhưng với cách đo 5 ví dụ mẫu chuẩn, Ultra chỉ đạt 83,7%, thấp hơn mức 86,4% của GPT-4. Với cách giải mã tham lam đơn giản, hai mô hình gần như ngang nhau: 84,0% cho Ultra và 84,2% cho GPT-4. Bài học ở đây là một con số vượt chuyên gia hay một con số tụt hạng đều có thể chỉ phản ánh cách đo, và việc đổi đề khó hơn là một lựa chọn thiết kế có chủ ý để phân biệt các mô hình, không phải bằng chứng mô hình cũ bỗng yếu đi.

Việc tăng số phương án từ 4 lên 10 cũng tự nó làm bài khó hơn theo một cách rất cơ học: đoán mò đúng giảm từ 1 trên 4 xuống 1 trên 10. Vì vậy khi thấy một mô hình tụt nhiều điểm trên một bộ đề mới, câu hỏi đầu tiên nên là bộ đề mới có khó hơn thật không, và khó ở kiến thức, ở suy luận, hay chỉ ở số phương án gây nhiễu.

Bài học 4: Đề lọt vào dữ liệu huấn luyện thì điểm cao là điểm giả

Nguy cơ khó phát hiện nhất của benchmark là rò rỉ dữ liệu: câu hỏi kiểm tra đã xuất hiện trong dữ liệu huấn luyện, nên mô hình không còn suy luận mà chỉ nhớ lại. Theo bài phân tích báo cáo kỹ thuật Gemini 1.0, chính Google cũng cảnh báo kết quả benchmark có thể bị ảnh hưởng bởi rò rỉ dữ liệu. Trong một thử nghiệm của nhóm, chỉ 100 bước tinh chỉnh thêm trên các đoạn trích web khớp với tập huấn luyện của bộ HellaSwag đã đẩy độ chính xác kiểm chứng của Gemini Ultra lên 96,0%. Sau khi phân tích rò rỉ, Google đã chọn không báo cáo một số kết quả, trong đó có LAMBADA.

Một biến thể khác của vấn đề này là đề thi cho phép mô hình đi đường tắt. Nhóm MMMU phát hiện một số câu hỏi có thể trả lời đúng mà không cần nhìn hình, chỉ dựa vào kiến thức văn bản hoặc mẫu trong các phương án. Bộ MMMU-Pro ra đời để loại các câu đó, tăng số phương án từ 4 lên tới 10, và bổ sung dạng câu hỏi chỉ hiển thị dưới dạng ảnh chụp màn hình. Kết quả là điểm số các mô hình giảm từ 16,8 đến 26,9 điểm, tùy mô hình. Một bộ đề càng dễ bị đi đường tắt thì điểm càng cao giả, và một bộ đề sửa được lỗ hổng đó sẽ làm điểm rơi mà không cần mô hình thay đổi.

Bài học 5: Checklist ngắn trước khi tin bất kỳ bảng xếp hạng nào

Trước khi dùng một bảng benchmark để chọn mô hình, hãy trả lời 5 câu hỏi sau. Thứ nhất, mô hình được đo bằng một lần trả lời, đa số nhiều mẫu, hay kèm bộ xếp hạng phụ. Thứ hai, gợi ý có dùng suy luận từng bước và mấy ví dụ mẫu hay không. Thứ ba, bộ đề có bao nhiêu phương án, và điểm đoán mò là bao nhiêu. Thứ tư, nhóm công bố có nói gì về rò rỉ dữ liệu và về việc loại câu hỏi đi đường tắt hay không. Thứ năm, con số đó đo đúng việc bạn cần làm hay chỉ đo kiến thức trắc nghiệm chung.

Nếu bảng không trả lời được 5 câu hỏi này, hãy coi thứ hạng trong bảng là gợi ý để kiểm tra thêm, không phải kết luận. Cách kiểm tra đáng tin nhất vẫn là chạy thử trên chính dữ liệu và công việc của bạn, với cùng một cách gợi ý và cùng một cách chấm cho mọi mô hình ứng viên. Một bảng benchmark tốt không hứa mô hình nào giỏi nhất mọi việc, nó chỉ cho biết mô hình nào làm tốt một bài kiểm tra cụ thể, theo một cách đo cụ thể. Việc chọn mô hình vẫn thuộc về người đọc, sau khi đã xem kỹ cách đo đó có khớp với việc mình cần hay không.

Muốn hiểu vì sao cửa sổ ngữ cảnh cũng làm thay đổi kết quả đo, xem thêm: đo kiểm cửa sổ ngữ cảnh 1 triệu token. Muốn đối chiếu tốc độ phản hồi của các mô hình khi đo độ trễ, xem thêm: so sánh độ trễ Gemini 2.5 Flash và Claude 3.7. Muốn xem một trường hợp chọn mô hình nhúng cho tiếng Việt, trong đó điểm tiếng Anh không nói hết chất lượng, xem thêm: chọn embedding cho RAG tiếng Việt.

Chú thích ảnh thân bài: Nhìn từ trên xuống bàn làm việc có biểu đồ, bút chì màu và laptop, hình ảnh minh họa cho việc đối chiếu số liệu với cách đo trước khi kết luận. Ảnh: Lukas Blazek, Pexels.

— Quang Minh, từ phòng đo kiểm 3A.