AWS Machine Learning Blog· Dustin Liu·· 3 天前AI 评分42
Amazon Bedrock 开放权重模型上线显式提示词缓存
Introducing explicit prompt caching with open-weight models on Amazon Bedrock
AI 导读
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,用户可通过 Chat Completions API 的 prompt_cache_options 标记可复用前缀。缓存读取按低于标准输入的价格计费,重复使用同一前缀可降低输入成本与响应延迟;隐式缓存则自动按最佳努力复用前缀。提示词与输出不会共享给模型提供方或用于训练。
来源:AWS Machine Learning Blog · aws.amazon.com