跳到正文
原文
AWS Machine Learning Blog· Dustin Liu·· 3 天前AI 评分42

Amazon Bedrock 开放权重模型上线显式提示词缓存

Introducing explicit prompt caching with open-weight models on Amazon Bedrock

AI 导读

Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,用户可通过 Chat Completions API 的 prompt_cache_options 标记可复用前缀。缓存读取按低于标准输入的价格计费,重复使用同一前缀可降低输入成本与响应延迟;隐式缓存则自动按最佳努力复用前缀。提示词与输出不会共享给模型提供方或用于训练。

来源:AWS Machine Learning Blog · aws.amazon.com