AWS Machine Learning Blog· Shubham Gupta·· 2 天前AI 评分40
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
How ArisGlobal scaled generative AI inference on Amazon Bedrock
AI 导读
ArisGlobal 在 Amazon Bedrock 上为生命科学 AI 引擎 NavaX 调整提示词缓存顺序,将共享提示词前缀而非源文档放入缓存,以降低有效输入成本并支持更多租户而不成比例增加成本。
来源:AWS Machine Learning Blog · aws.amazon.com