聊天应用在每一轮都会重发系统提示、工具定义和对话历史。在一次典型会话中，这段静态前缀可能占你付费 token 的 80%。提示缓存让服务商跳过对这段前缀的重复处理，只按常规输入价格的一小部分收费。
当你发送请求时，服务商会检查你输入的开头是否与最近缓存的某段前缀匹配。若匹配，被缓存的部分按折扣的命中价计费，只有新增的后缀按全价处理。你稳定的前缀越长，节省越大。
缓存降低的是每 token 的输入价格；它不改变输出定价，也不减少你生成的 token 数量。一个啰嗦作答的模型仍会花钱，所以缓存最好与简洁的系统提示和明确的输出约束搭配使用。
大多数网关会在用量对象里分别报告缓存命中与未命中的 token。启用缓存后，把一次多轮会话的计费输入与同样的会话在启用前做对比。维持冗长而稳定上下文的应用，输入成本通常能下降一半以上。
Did this post help you? Leave a comment below — we read every single one and reply to as many as we can.
Comments are moderated and published after a quick review.
¿Te ayudó esta publicación? Deja un comentario abajo: leemos todos y respondemos a la mayoría.
Los comentarios se moderan y se publican tras una revisión rápida.
这篇文章对您有帮助吗？请在下方留言——我们会阅读每一条评论并尽可能回复。
评论需经过审核后才会显示。
Hat dir dieser Beitrag geholfen? Hinterlasse unten einen Kommentar – wir lesen jeden einzelnen und antworten so vielen wie möglich.
Kommentare werden moderiert und nach einer kurzen Prüfung veröffentlicht.
Cet article vous a-t-il aidé ? Laissez un commentaire ci-dessous – nous les lisons tous et répondons au plus grand nombre.
Les commentaires sont modérés et publiés après une vérification rapide.
Este artigo ajudou você? Deixe um comentário abaixo – lemos todos e respondemos à maioria.
Os comentários são moderados e publicados após uma revisão rápida.
Heeft dit bericht je geholpen? Laat hieronder een reactie achter – we lezen ze allemaal en beantwoorden zoveel mogelijk.
Reacties worden gemodereerd en na een korte controle gepubliceerd.
Czy ten post Ci pomógł? Zostaw komentarz poniżej – czytamy każdy i odpowiadamy na tyle, na ile możemy.
Komentarze są moderowane i publikowane po szybkiej weryfikacji.
Эта статья помогла вам? Оставьте комментарий ниже — мы читаем каждый и отвечаем на большинство.
Комментарии модерируются и публикуются после быстрой проверки.
هل ساعدك هذا المقال؟ اترك تعليقًا أدناه — نقرأ كل تعليق ونرد على أكبر عدد ممكن.
تتم مراجعة التعليقات وتنشر بعد التحقق السريع.
この記事は役に立ちましたか？下のコメント欄にぜひ投稿してください。すべて読んで、できる限り返信します。
コメントはモデレーション後に公開されます。
이 글이 도움이 되었나요? 아래에 댓글을 남겨주세요 — 모든 댓글을 읽고 최대한 많이 답변합니다.
댓글은 검토 후 게시됩니다.
บทความนี้ช่วยคุณได้ไหม? แสดงความคิดเห็นด้านล่าง — เราอ่านทุกความเห็นและตอบกลับให้มากที่สุด
ความคิดเห็นจะถูกตรวจสอบและเผยแพร่หลังจากการพิจารณา
האם המאמר עזר לכם? השאירו תגובה למטה — אנחנו קוראים כל תגובה ועונים לרובן.
תגובות עוברות ניהול ומתפרסמות לאחר בדיקה מהירה.
Bài viết này có giúp bạn không? Hãy để lại bình luận bên dưới — chúng tôi đọc từng bình luận và phản hồi nhiều nhất có thể.
Bình luận được kiểm duyệt và xuất hiện sau khi xét duyệt nhanh.
Apakah artikel ini membantu Anda? Tinggalkan komentar di bawah — kami membaca semuanya dan membalas sebanyak mungkin.
Komentar dimoderasi dan dipublikasikan setelah pemeriksaan cepat.
Бұл мақала сізге көмектесті ме? Төменде пікір қалдырыңыз — біз әрқайсысын оқып, мүмкіндігінше көбіне жауап береміз.
Пікірлер модерациядан өтіп, тексерілгеннен кейін жарияланады.
评论（166)