跳到正文
原文
AWS Machine Learning Blog· Claudio Mazzoni·· 3 小时前AI 评分51

Amazon Bedrock 上 OpenAI 模型的提示词缓存模式:为 AI 智能体降低重复上下文成本

Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock

AI 导读

AWS 博客介绍在 Amazon Bedrock 上调用 OpenAI 模型时,如何用隐式与显式提示词缓存减少智能体每轮重复发送的工具、指令和历史。可缓存前缀需至少 1,024 tokens,缓存 TTL 至少 30 分钟,缓存写入按正常输入价格的 1.25 倍计费。在六轮测试中,GPT-6 Astra 的隐式缓存使输入成本降低约 62%,显式滚动断点降低约 61%。

来源:AWS Machine Learning Blog · aws.amazon.com