跳到正文
原文
AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 7 天前AI 评分34

用 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关

Building a self-service LLM gateway with Amazon Bedrock and LiteLLM

AI 导读

该方案用运行在 AWS Fargate 上的 LiteLLM 代理,将 Amazon Bedrock 封装为 OpenAI 兼容 API,并通过 Application Inference Profiles 实现按用户和按模型的成本控制与配额隔离。

来源:AWS Machine Learning Blog · aws.amazon.com