3A.COM.VN

Benchmarks

Prompt Caching là gì: 3 điều kiện giảm 90% phí token đầu vào

Prompt caching là gì? Là tính năng của Anthropic tính phí đọc lại phần đầu prompt đã lưu chỉ bằng 0,1 lần giá chuẩn. Bài này nêu 3 điều kiện để mức giảm 90% xảy ra, kèm bảng giá và rủi ro.

Sản phẩm trong bài:
Claude
Quang Minh· Trưởng ban Nghiên cứu & Đo kiểm AI5 phút đọc21/11/20260 lượt xem
Prompt Caching là gì: 3 điều kiện giảm 90% phí token đầu vào
Claude

Hóa đơn token đầu vào tăng đều mỗi tháng. Phần lớn là cùng một đoạn system prompt gửi đi hàng nghìn lần.

Prompt caching là gì? Là tính năng cho phép API tái dùng phần đầu prompt đã xử lý. Đọc lại phần đó chỉ tính 0,1 lần giá đầu vào chuẩn, tức giảm 90%. Với Claude Opus 5.5 và Claude Sonnet 5.5, hệ số đọc còn là 0,05 lần.

Mức giảm này không tự có. Nó chỉ xảy ra khi bạn đáp ứng đủ 3 điều kiện dưới đây. Thiếu một điều kiện, hóa đơn vẫn như cũ.

Dự án nội bộ · 3A AI Stack Advisor

Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây

Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.

Điều kiện 1: Prefix phải đủ dài để được lưu vào cache

API không lưu mọi prompt. Mỗi model có ngưỡng độ dài tối thiểu cho phần đầu cần cache. Dưới ngưỡng, request vẫn chạy bình thường nhưng không có cache nào được ghi.

Với Claude Sonnet 5.5, Claude Opus 5.5 và Claude Haiku 5.5, ngưỡng là 512 token. Claude Opus 4.5 và Claude Opus 4.6 đòi 4.096 token. Hãy đếm token của system prompt trước khi chọn model.

Cách kiểm tra rất nhanh. Nếu cả cache_creation_input_tokens và cache_read_input_tokens đều bằng 0, prompt chưa được cache. Nguyên nhân thường gặp là prefix quá ngắn.

Điều kiện 2: Phần đầu prompt phải giống nhau từng ký tự

Cache khớp theo tiền tố. Chỉ cần đổi một ký tự ở phần đã đánh dấu, cả đoạn phía sau mất hiệu lực. Thứ tự cache là tools, rồi system, rồi messages. Đổi tầng nào thì tầng đó và các tầng sau phải ghi lại.

Vì vậy, đưa phần ổn định lên đầu. Chính sách, hướng dẫn, tài liệu tham chiếu nằm trước. Timestamp, tên khách và câu hỏi của người dùng nằm sau điểm đánh dấu.

python
import anthropic

client = anthropic.Anthropic()

STABLE_POLICY = open("policy.md", encoding="utf-8").read()  # long, rarely changes

response = client.messages.create(
    model="claude-sonnet-5-5",
    max_tokens=512,
    system=[
        {"type": "text", "text": "Ban la tro ly van hanh cua cua hang."},
        {
            "type": "text",
            "text": STABLE_POLICY,
            "cache_control": {"type": "ephemeral"},  # 5-minute TTL by default
        },
    ],
    messages=[{"role": "user", "content": "Don hang 1042 giao chua?"}],
)

usage = response.usage
print(usage.cache_creation_input_tokens, usage.cache_read_input_tokens)

Bạn đặt tối đa 4 điểm đánh dấu trong một request. Hệ thống chỉ nhìn ngược tối đa 20 khối cho mỗi điểm. Hội thoại dài thêm hơn 20 khối giữa hai lượt thì cache cũ không còn được tìm thấy.

Màn hình terminal nhiều cửa sổ, minh họa việc theo dõi trường usage của từng request
Màn hình terminal nhiều cửa sổ, minh họa việc theo dõi trường usage của từng requestNguồn chính hãng / Kho ảnh bản quyền mở · Official / Free Commercial License

Chú thích ảnh: Màn hình terminal nhiều cửa sổ, minh họa việc theo dõi trường usage của từng request. Ảnh: Tima Miroshnichenko, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).

Điều kiện 3: Request kế tiếp phải đến trước khi cache hết hạn

Cache có hạn dùng. Mặc định là 5 phút. Mỗi lần đọc trúng cache sẽ làm mới đồng hồ. Dịch vụ chạy liên tục, cứ vài giây có một request, thì cache gần như không bao giờ chết.

Dịch vụ thưa khách thì khác. Hai request cách nhau 6 phút nghĩa là bạn trả phí ghi cache hai lần. Khi đó có thể chọn TTL 1 giờ bằng "ttl": "1h", với giá ghi cao hơn.

Một phép tính để thấy quy mô. Giả sử system prompt dài 20.000 token. Gửi 100 lần, mỗi lần cách nhau dưới 5 phút. Model là Claude Sonnet 5.5, giá $2 mỗi triệu token đầu vào. Đây là số học từ bảng giá, không phải số đo thực tế.

  • Không cache: 2.000.000 token nhân $2 mỗi triệu, bằng $4,00.
  • Có cache 5 phút: 1 lần ghi bằng $0,05, cộng 99 lần đọc bằng $0,198, tổng $0,248.
  • Mức giảm tính ra: khoảng 93,8%.

Giới hạn và rủi ro khi dùng prompt caching

Prompt caching tiết kiệm có điều kiện. Ba ranh giới dưới đây là chỗ các đội vận hành hay mắc.

Ranh giới chi phí

Ghi cache đắt hơn gọi thường. Ghi 5 phút tốn 1,25 lần giá chuẩn. Ghi 1 giờ tốn 2 lần. Prefix chỉ dùng đúng một lần là lỗ.

Với hệ số đọc 0,05 của Claude Sonnet 5.5, ghi 5 phút hòa vốn từ lần đọc đầu tiên. Ghi 1 giờ cần ít nhất 2 lần đọc mới hòa vốn. Đó là phép tính từ bảng giá.

Ranh giới thực thi

Cache chỉ có hiệu lực khi prefix khớp. Đổi bất kỳ phần nào của tools sẽ làm hỏng cả tầng system và messages. Một timestamp lọt vào system prompt đủ để cache không bao giờ trúng.

Hãy ghi lại hai trường usage trên mọi request. Tỷ lệ đọc trên tổng là chỉ số vận hành đáng theo dõi hằng ngày.

Điểm mù

Caching chỉ giảm token đầu vào lặp lại. Token đầu ra vẫn tính giá chuẩn, $10 mỗi triệu với Claude Sonnet 5.5. Nếu hóa đơn của bạn chủ yếu là đầu ra, caching gần như không cứu được.

Prompt luôn khác nhau từng request cũng không hưởng lợi. Hãy đo phần lặp thật sự trước khi cam kết ngân sách.

Cảnh báo kỹ thuật

Chi phí ẩn: model có ngưỡng 4.096 token mà prefix chỉ 3.000 token thì không ghi cache. API cũng không báo lỗi nào.

Bảng đối chiếu: giá cache của 3 model Claude

ModelGiá đầu vàoGhi 5 phútGhi 1 giờĐọc cacheNgưỡng prefix
Claude Sonnet 5.5
$2 / MTok$2,50 / MTok$4 / MTok$0,10 / MTok512 token
Claude Opus 5.5
$4 / MTok$5 / MTok$8 / MTok$0,20 / MTok512 token
Claude Opus 4.5
$5 / MTok$6,25 / MTok$10 / MTok$0,50 / MTok4.096 token

Số liệu lấy từ trang Prompt caching của Anthropic, chốt ngày 14/11/2026. Giá và ngưỡng có thể đổi, nên đối chiếu lại trang gốc trước khi chốt ngân sách.

Đọc thêm trên 3a.com.vn:

  • Phong COO, giữ nhịp xuất bản 24/7
Nguồn

Nguồn

  • Anthropic, "Prompt caching", Claude Platform Docs, ngày truy cập 2026-11-14. Link: https://platform.claude.com/docs/en/build-with-claude/prompt-caching

Ảnh

  • Bìa: Markus Spiske, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/1921326/
  • Ảnh thân bài: Tima Miroshnichenko, Pexels, giấy phép Pexels, ngày 2020-09-17. Link gốc: https://www.pexels.com/photo/5380664/
— Quang Minh, từ phòng đo kiểm 3A.

Bài liên quan