Context Window là gì: 3 bẫy chi phí khi mở rộng ngữ cảnh

Context window là gì? Đó là bộ nhớ làm việc của mô hình trong một phiên. Mọi lượt trò chuyện, tài liệu và định nghĩa công cụ đều chiếm chỗ trong đó. Cửa sổ càng lớn thì mô hình càng nhớ được nhiều, nhưng hóa đơn và độ trễ cũng tăng theo.

Anthropic mô tả rõ: cửa sổ ngữ cảnh gồm toàn bộ văn bản mô hình được tham chiếu khi sinh đáp án. Nó khác với dữ liệu huấn luyện. Nó là bộ nhớ làm việc cho phiên hiện tại. Claude Sonnet 5.5 có cửa sổ 1 triệu token và sinh tối đa 128.000 token mỗi request.

Bẫy 1: Tiền nhân lên theo mỗi lượt hội thoại dài

Bẫy đầu tiên nằm ở cách tính phí. Mỗi lượt mới gửi lại toàn bộ lịch sử trò chuyện. Lịch sử càng dài thì token đầu vào của mỗi lượt càng lớn. Bạn trả tiền cho cùng một đoạn lịch sử nhiều lần, một lần cho mỗi lượt sau đó.

Anthropic nhắc rõ: system prompt, mọi tin nhắn, kết quả công cụ, ảnh, tài liệu và định nghĩa công cụ đều tính vào cửa sổ. Token suy luận cũng tính và được tính phí như token đầu ra. Prompt caching chỉ đổi giá của token đã lưu, không đổi việc chúng vẫn chiếm chỗ trong cửa sổ.

Bảng giá dưới đây lấy từ 3 trang giá chính hãng, đọc ngày 12/11/2026. Giá tính theo 1 triệu token. Lưu ý riêng: Gemini 3.8 Flash tăng gấp đôi giá từ ngày 01/01/2027. Đội chạy hội thoại dài nên khóa ngân sách theo giá sau mốc này, không tính theo giá ưu đãi cũ.

Mô hình	Giá input / 1M token	Giá output / 1M token	Cửa sổ ngữ cảnh đã xác nhận	Ghi chú giá
Claude Sonnet 5.5	$2	$10	1 triệu token, tối đa 128.000 token output	Bảng giá Anthropic, đọc 12/11/2026
GPT-6.1 Sol	$2	$10	Không nêu trên trang giá đã mở	Bảng giá OpenAI, đọc 12/11/2026
Gemini 3.8 Flash	$0,75	$3,75	Không nêu trên trang giá đã mở	Đến 31/12/2026, tăng gấp đôi từ 01/01/2027

Cùng họ GPT-6, bản Astra niêm yết $10 input và $50 output mỗi 1 triệu token. Chênh lệch giữa các bản trong cùng một họ có thể gấp 5 lần. Vì vậy, chọn sai bản mô hình cho hội thoại dài cũng là một cách nhân hóa đơn.

Bẫy 2: Thông tin ở đoạn giữa dễ bị bỏ qua

Bẫy thứ hai là chất lượng suy giảm khi ngữ cảnh dài ra. Anthropic gọi hiện tượng này là context rot: càng nhiều token thì độ chính xác và khả năng nhớ càng giảm. Vì vậy, chọn nội dung đưa vào ngữ cảnh quan trọng không kém việc có bao nhiêu chỗ trống.

Nghiên cứu Lost in the Middle của Liu và cộng sự, nộp ngày 06/07/2023, đo hiện tượng này trực tiếp. Hiệu năng của mô hình cao nhất khi thông tin liên quan nằm ở đầu hoặc cuối ngữ cảnh. Hiệu năng giảm rõ khi thông tin nằm ở giữa ngữ cảnh dài. Kết quả này đúng cả với mô hình quảng cáo cửa sổ dài.

Cách xử lý thực tế gồm 3 việc. Đặt thông tin quan trọng nhất ở đầu hoặc cuối prompt. Tóm tắt các lượt cũ thay vì giữ nguyên toàn bộ lịch sử. Dùng RAG để chỉ đưa đoạn liên quan vào ngữ cảnh thay vì nhét cả tài liệu.

Anthropic cũng cung cấp tính năng compaction phía máy chủ, hiện ở dạng beta. Tính năng này tự tóm tắt phần đầu cuộc trò chuyện để phiên tiếp tục vượt giới hạn cửa sổ. Đây là công cụ chữa cháy, không phải lý do để nhét mọi thứ vào ngữ cảnh.

Chú thích ảnh: Biểu đồ trên màn hình, minh họa cho hóa đơn API tăng theo độ dài hội thoại. Ảnh: Tima Miroshnichenko, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).

Bẫy 3: Độ trễ token đầu tiên tăng theo ngữ cảnh

Bẫy thứ ba là độ trễ Time-To-First-Token, tức thời gian từ lúc gửi request đến khi token đầu tiên xuất hiện. Token đầu tiên chỉ xuất hiện sau khi mô hình xử lý xong toàn bộ prompt đầu vào. Prompt càng dài thì bước xử lý này càng lâu.

Bài này không đưa con số mili giây cho độ trễ này. Lý do: độ trễ phụ thuộc mô hình, hạ tầng và tải tại thời điểm đo. Không có con số chung nào đúng cho mọi hệ thống.

Điều đo được là quy tắc vận hành. Hội thoại dài làm tăng cả chi phí và độ trễ cùng lúc. Nếu ứng dụng cần phản hồi nhanh, hãy giữ prompt gọn: tóm tắt lịch sử, cắt tài liệu thừa và chỉ đưa đoạn liên quan. Nếu ứng dụng chấp nhận chờ, hãy báo trước cho người dùng thay vì để họ nhìn màn hình trống.

Một giới hạn cứng cần nhớ: nếu chỉ riêng phần input đã vượt cửa sổ, API của Anthropic trả lỗi 400 prompt is too long. Trên các mô hình Claude 4.5 trở lên, nếu input cộng max_tokens vượt cửa sổ, request vẫn được nhận. Quá trình sinh sẽ dừng với stop_reason là model_context_window_exceeded khi chạm giới hạn.

Giới hạn cần nhớ trước khi tăng cửa sổ ngữ cảnh

Cửa sổ lớn không sửa được bài toán chọn sai nội dung. Thông tin ở đoạn giữa vẫn dễ bị bỏ qua dù cửa sổ dài thêm. Input vượt cửa sổ sẽ bị API từ chối với lỗi 400. Đội nào chạy hội thoại dài nên đặt trần chi phí theo lượt và bật compaction trước khi tăng cửa sổ.

Đọc thêm trên 3a.com.vn:

• Suy luận dài: khi nào đáng chi thêm token
• Tối ưu token Claude Code MCP
• Prompt engineering là gì

— Quang Minh, từ phòng đo kiểm 3A.