AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 7 天前AI 评分34
用 Amazon Bedrock 和 LiteLLM 构建自助式 LLM 网关
Building a self-service LLM gateway with Amazon Bedrock and LiteLLM
AI 导读
该方案用运行在 AWS Fargate 上的 LiteLLM 代理,将 Amazon Bedrock 封装为 OpenAI 兼容 API,并通过 Application Inference Profiles 实现按用户和按模型的成本控制与配额隔离。
来源:AWS Machine Learning Blog · aws.amazon.com