跳到正文
原文
AWS Machine Learning Blog· Shubham Gupta·· 2 天前AI 评分40

ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

How ArisGlobal scaled generative AI inference on Amazon Bedrock

AI 导读

ArisGlobal 在 Amazon Bedrock 上为生命科学 AI 引擎 NavaX 调整提示词缓存顺序,将共享提示词前缀而非源文档放入缓存,以降低有效输入成本并支持更多租户而不成比例增加成本。

来源:AWS Machine Learning Blog · aws.amazon.com