Reranker là gì? Reranker là mô hình chấm lại độ liên quan của từng đoạn văn với câu hỏi. Nó xếp lại thứ tự kết quả trước khi đưa vào mô hình sinh câu trả lời. Bài này đi qua 3 bước: truy xuất ứng viên, chấm lại bằng Cross-Encoder và cắt top kết quả.
Tìm kiếm vector nhanh nhưng chưa đủ chuẩn. Embedding mã hoá câu hỏi và tài liệu riêng rẽ, rồi đo khoảng cách vector. Cách này bỏ qua sắc thái như phủ định hay tên riêng. Reranker sinh ra để sửa đúng điểm yếu đó, ở bước thứ hai của pipeline truy xuất.
Bài báo Sentence-BERT của Reimers và Gurevych, nộp ngày 27/08/2019, nêu rõ cái giá của việc chấm từng cặp. Tìm cặp câu giống nhau nhất trong 10.000 câu bằng BERT cần khoảng 50 triệu lần suy luận, tương đương 65 giờ. SBERT rút việc đó xuống khoảng 5 giây nhờ mã hoá riêng từng câu. Con số này giải thích vì sao reranker chỉ chạy trên nhóm ứng viên hẹp, không chạy trên toàn bộ kho.
Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây
Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.
Bước 1: Truy xuất nhanh một lượt ứng viên
Bước đầu tiên vẫn là truy xuất nhanh. Hệ thống dùng bi-encoder hoặc tìm từ khóa BM25 để lấy 50 đến 100 ứng viên từ kho tài liệu. Hệ thống lấy ứng viên bằng tìm kiếm từ vựng hoặc tìm kiếm ngữ nghĩa trước, rồi mới đưa cho reranker.
Mục tiêu của bước này là độ bao phủ, không phải độ chuẩn. Chỉ cần đoạn trả lời đúng nằm trong nhóm ứng viên thì bước sau còn cứu được. Nếu đoạn đó rớt khỏi nhóm ứng viên, reranker cũng không tìm lại được.
Bước 2: Chấm lại từng cặp bằng Cross-Encoder
Reranker đọc câu hỏi và từng tài liệu cùng nhau trong một lượt chạy. Cross-Encoder nối câu hỏi với tài liệu rồi cho ra một điểm liên quan duy nhất. Nhờ cơ chế chú ý nhìn chéo giữa các token của hai phía, mô hình bắt được phủ định và thực thể cụ thể. Nó cũng bắt được quan hệ ai làm gì với ai, những thứ khoảng cách vector thường bỏ qua.
Tài liệu của Cohere cho ví dụ cụ thể với câu hỏi về thủ đô nước Mỹ. Đoạn về Washington, D.C. nhận relevance_score 0,943, trong khi đoạn về Carson City chỉ đạt 0,590. Điểm số này chỉ có ý nghĩa so sánh trong cùng một lần gọi: cao hơn nghĩa là liên quan hơn với câu hỏi đó.
import cohere
co = cohere.ClientV2()
query = "What is the capital of the United States?"
docs = [
"Carson City is the capital city of the American state of Nevada.",
"Washington, D.C. is the capital of the United States.",
]
results = co.rerank(
model="rerank-v5.0-pro", query=query, documents=docs, top_n=5
)Cohere Rerank hỗ trợ hơn 100 ngôn ngữ, gồm tiếng Việt. Model mới nhất trong tài liệu là rerank-v5.0-pro, kèm bản fast cho trường hợp cần tốc độ. Ai không muốn tự vận hành GPU có thể gọi API. Ai muốn tự chủ thì dùng CrossEncoder mã nguồn mở trong thư viện sentence-transformers, ví dụ cross-encoder/ms-marco-MiniLM-L-6-v2.

Chú thích ảnh: Mã nguồn trên màn hình, nơi pipeline truy xuất hai tầng được triển khai. Ảnh: Markus Spiske, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).
Bước 3: Cắt top kết quả rồi sinh câu trả lời
Sau khi chấm xong, hệ thống giữ lại top 3 đến 5 đoạn có điểm cao nhất. Chỉ nhóm này mới đưa vào prompt cho mô hình sinh câu trả lời. Cắt ngắn ở đây vừa giảm nhiễu, vừa tiết kiệm token cửa sổ ngữ cảnh.
Tham số top_n trong API của Cohere quyết định giữ lại bao nhiêu đoạn. Nếu không truyền top_n, API trả về toàn bộ danh sách đã xếp lại. Đội làm RAG thường giữ top 5 cho câu trả lời ngắn và tăng lên khi câu hỏi cần nhiều nguồn đối chiếu.
Giới hạn và chi phí khi thêm tầng Reranker
Reranker không miễn phí. Mỗi truy vấn phải trả thêm một lượt chấm. Cross-Encoder chấm từng cặp câu hỏi và tài liệu lúc chạy. Nó không tính sẵn vector như bi-encoder. Vì vậy, độ trễ của reranker cộng thẳng vào thời gian trả lời mỗi truy vấn. Nhóm ứng viên càng rộng thì số cặp phải chấm càng nhiều, nên độ trễ tăng theo.
Khi gọi API Cohere, chi phí tính theo search_units trong phản hồi. Ví dụ của Cohere ghi search_units bằng 1.0 cho một lần gọi 5 tài liệu. Ai tự vận hành GPU thì trả chi phí máy chủ thay cho phí API.
Điểm mù lớn nhất nằm ở bước truy xuất đầu. Reranker chỉ xếp lại nhóm ứng viên đã lấy. Nếu tài liệu đúng rớt khỏi nhóm ứng viên thì reranker không thể cứu. Bước truy xuất đầu phải giữ độ bao phủ đủ rộng.
Bảng đối chiếu: Bi-encoder và Cross-Encoder
| Tiêu chí | Bi-encoder (truy xuất) | Cross-Encoder (reranker) |
|---|---|---|
| Đầu vào | Câu hỏi và tài liệu mã hoá riêng | Câu hỏi và tài liệu đọc cùng nhau |
| Đầu ra | Vector cho mỗi văn bản | Điểm liên quan cho mỗi cặp |
| Tốc độ | Nhanh, mã hoá một lần rồi tái dùng | Chậm, một lần suy luận cho mỗi cặp |
| Độ chuẩn | Thô, dễ bỏ qua sắc thái | Cao, bắt được phủ định và thực thể |
| Vai trò | Lấy 50-100 ứng viên | Xếp lại và giữ top 3-5 |
Bảng này chỉ đối chiếu theo cơ chế, không có số đo tốc độ tự chạy.
Đọc thêm trên 3a.com.vn: LangChain là gì và 4 thành phần cốt lõi. Đọc thêm: cách nhận ra lỗi trích dẫn sai nguồn trong RAG tài liệu nội bộ và token trong AI là gì.
Nguồn
Nguồn
- Cohere, "An Overview of Cohere's Rerank Model", ngày truy cập 2026-11-14. Link: https://docs.cohere.com/docs/rerank-overview
- Sentence Transformers, "MS MARCO Cross-Encoders", tài liệu chính thức, ngày truy cập 2026-11-14. Link: https://www.sbert.net/docs/pretrained-models/ce-msmarco.html
- Reimers và Gurevych, "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", nộp ngày 2019-08-27. Link: https://arxiv.org/abs/1908.10084
Ảnh
- Bìa: Rodrigo Santos, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/3888149/
- Ảnh thân bài: Markus Spiske, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/1921326/



