在 Amazon EKS 上使用 NVIDIA Run:ai GPU Fractioning 实现 GPU 显存共享
NVIDIA Run:ai GPU Fractioning 通过 Kubernetes 集成调度、按 Pod 强制 GPU 显存限制和指标监控,让多个团队共享同一块 GPU。
NVIDIA Run:ai GPU Fractioning 通过 Kubernetes 集成调度、按 Pod 强制 GPU 显存限制和指标监控,让多个团队共享同一块 GPU。
Exa 在 AWS Inferentia2 与 Trainium2 上把嵌入吞吐提升约 1.5 倍(50%),用于支撑数十亿级网页文档的语义索引。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力 kernel,以及自研 weight-stationary 融合 SwiGLU MLP kernel 消除 HBM 读写停顿。
AWS 将八项负责任 AI(RAI)维度映射到 Amazon Aurora PostgreSQL 的能力上,并以基于 RAG 的客服机器人为参考用例,深入实现其中的可解释性维度。
Airbnb 通过 LLM gateway 在 Amazon Bedrock 上运行编码智能体 AirChat,并用“每任务成本”指导模型选型。约五周内上线八款新模型,到 10 月中旬约三分之二的编码智能体请求已流向这些新模型。Airbnb 在发布前用自有任务评测各模型的得分与每任务成本,发布后借助 CloudWatch 的延迟、限流和 token 指标核对生产表现。
Amazon Bedrock AgentCore Gateway 可通过自管理模式的 VPC Lattice resource gateway 接入 hub-and-spoke 网络中的私有 API 和 MCP 服务器,且双向流量都经过中心防火墙检查。
AWS Quick 在 DC 用户组活动上展示其从 BI 可视化工具演进为统一 AI 助手,可把自然语言问题转为多步可复用动作,并内置 Salesforce、Slack、Google Drive、Microsoft 365 连接器。
针对 Flightscape 航班运营平台的培训排程优化智能体,团队用三种可组合策略处理 20 MB+ JSON 负载,在 23 MB 代表性负载的基准测试中将 token 消耗最多降低 71%、平均延迟最多降低 80%。
Simon Willison 与 AI 研究实验室 Prime Radiant 合作提出外部沙箱模式,让智能体执行的代码运行在独立沙箱中,智能体本身留在沙箱之外,以便更安全地试用本地模型、防范提示词注入导致的破坏性操作。
AWS 提出在生成式 AI 工作流中先判断每一步是否真的需要调用模型:能用格式、schema、关键词或数值范围等规则校验的步骤应交给确定性代码,只有开放式任务才用 Amazon Bedrock 上合适规模的模型。
Amazon Bedrock AgentCore Identity 针对 Snowflake 托管的 MCP 服务器测试了三种 OAuth 配置:Snowflake OAuth(3LO,无需外部 IdP)、第三方 IdP 三腿 OAuth(企业 SSO)和第三方 IdP 两腿 OAuth(共享服务用户)。
AWS 发布开源 Python SDK 与 Terraform 栈 SMART(Social Messaging Agent Runtime Toolkit),用于在 Amazon Bedrock AgentCore 上构建 WhatsApp AI 智能体,一条命令即可把整套基础设施部署到自己的 AWS 账户。
AWS 提出面向智能体 AI 平台的负责任 AI 三阶段成熟度框架:治理基础、试点部署、评估与加固,并配套 Responsible AI Assessment Skill 与评分卡,将 AWS Responsible AI Lens 各支柱映射到 12 周可定制实施时间线。
ArisGlobal 在 Amazon Bedrock 上为生命科学 AI 引擎 NavaX 调整提示词缓存顺序,将共享提示词前缀而非源文档放入缓存,以降低有效输入成本并支持更多租户而不成比例增加成本。
AWS 博客系统梳理多智能体设计模式,按控制流分为开发者定义路径的 Tier 1(顺序流水线、条件工作流、条件路由、并行工作流)和模型运行时决定路径的 Tier 2(计划编排、交接、对话驱动、辩论共识),并建议默认从 Tier 1 起步。
MoEngage 基于 Amazon Bedrock 与 AgentCore 构建了 Merlin AI 智能体体系,通过 MCP Connector 让 Claude、ChatGPT 等兼容 MCP 的助手以租户隔离方式访问品牌分群、活动历史与内容库。
AWS 发布五阶段方法论,借助 Amazon Bedrock、Kiro IDE 和 AWS Transform 将大型机 Assembler 程序先转为 COBOL 中间层、再转为 Java Spring Boot 服务部署到 AWS。
Amazon Bedrock Guardrails 的 Denied Topics 按语义而非关键词匹配内容,容易误伤含义相近的合法请求。文章以虚构的 AnyCompany Bank 客服助手为例,总结出八项最佳实践,核心是围绕用户意图而非主题领域来定义话题,并分别落实到名称、定义和示例三部分。
Anthropic 发布研究文章,说明 Claude 如何在不改动模型的情况下跨会话保留知识,核心结论是选择性记笔记优于全量存档。在《宝可梦红》测试中,Claude Sonnet 3.7 约 1 万步内创建了 413 个文件、225 个文件夹,最终只拿到一枚徽章;Claude Fable 5 只记录策略和验证过的规则,拿到四枚徽章。
Anthropic 表示,Claude Opus 5.5 已成为 Pro、Max、Ultra 和 Team 套餐的默认模型,但用户沿用旧世代的提示词习惯会拖慢它。
GS Caltex 用 Amazon SageMaker Canvas 和 SageMaker Pipelines 打通工艺工程师建模与生产工作流,ML 工程师部署模型的时间从约一周缩短到几小时。
英伟达团队演示了用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐在 Isaac Sim 6.2 中搭建抓取放置仿真,资产来自 Hugging Face 上的 SimReady Central 库。示例使用 GPT-6 Sol 生成并执行任务代码,完成抓取、抬升、移动和释放动作。运行前需检查关节限位与驱动设置、小幅运动及接触行为,避免资产静止时外观正常但仿真中动作出错。
NVIDIA NeMo Switchyard 是一个开源库,可让 AI 智能体为每个请求选择由哪个模型处理,其 LiteLLM 集成支持 Stage 路由(读取请求历史中的工具活动与结果,在两个候选模型间选择)和 Random 路由(按权重分流用于 A/B 对比)。
Amazon Bedrock AgentCore runtime 的 platformVersion "V2" 改为在创建或更新时一次性构建快照,新会话直接恢复快照,不再每次拉取容器镜像,会话启动更快更稳定。V2 还会回收会话未使用的内存,使计费贴合实际用量。文章给出四种模式,包括用 build hook 预加载大文件、CLI 或浏览器,以及在用户打开应用或聊天窗口时后台预热会话。
AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的容量提供者运行语音转文字推理,单 GPU 跑一个模型、规模达数千实例。
Amazon Bedrock 提供零埋点的成本归因能力,可将每次推理调用追溯到发起调用的 IAM 主体,并把身份与组织标签写入 CUR 2.0 和 Cost Explorer。
Amazon SageMaker HyperPod 推出 Data Capture 能力,可在端点、负载均衡器和模型 Pod 三个层级把线上推理的输入输出记录到 S3。
GitHub 发布 agent skills 实用指南,介绍以 SKILL.md 为核心的版本化目录如何封装可复用任务指令,并可在不同智能体间共享。
Amazon Bedrock 的缓存时长、服务层级、推理强度和 maxTokens 四项请求级设置会在不改模型和提示词的情况下改变 token 处理量与计费费率。
AWS 提出以“单任务成本”而非“单 token 价格”衡量 Amazon Bedrock 上的模型开销,并给出计算真实模型成本的框架。文章拆解了 tokenizer 效率、输出冗余、智能体循环轮次和推理开销四类隐藏成本驱动因素,示例中单价高 2 倍的模型因单轮完成、输出更短,单任务成本反而低 65%。
AWS 给出无需自写代码的方案,按 IAM 用户或角色追踪并限制 Amazon Bedrock 推理支出。Amazon Bedrock 自动记录每次推理请求的 IAM 主体身份,配合 principal tags 或会话标签、CUR 2.0 与 Cost Explorer 实现按身份的成本可见性,再用 AWS Budgets 预算操作在超阈值时下发 Deny IAM 策略。
该方案用运行在 AWS Fargate 上的 LiteLLM 代理,将 Amazon Bedrock 封装为 OpenAI 兼容 API,并通过 Application Inference Profiles 实现按用户和按模型的成本控制与配额隔离。
Hugging Face 发布 TRELLIS.2 的 LoRA 微调指南,提供可在本地或 Hugging Face Jobs 运行的预处理与训练容器脚本。作者用 GSO 中 188 个鞋类对象做实验,只对稀疏结构流 DiT 和形状流 DiT 注入 LoRA 适配器、冻结纹理流 DiT,共训练约 930 万适配器参数。
AWS 提出 Agent Development Lifecycle(Agent DLC),用一个生命周期、两个循环和统一的验收标准来判定智能体的每次变更是否可上线。
针对智能体代用户检索内部文档时的越权风险,Amazon Bedrock 方案在 AgentCore Gateway 工具层用请求拦截器从已验证 JWT 中注入 userContext,再由 Managed Knowledge Base 的 ACL awareness 只返回该用户可见的文档。
AWS 发布基于 A2A 协议的多智能体参考架构,让跨组织智能体无需共享框架或密钥即可互相发现、通信与交换任务。
AWS 发布教程,演示 Java 团队如何用 Spring AI 2.0 与 spring-ai-agentcore 2.0 在 Amazon Bedrock AgentCore 上构建自主 AI 智能体。
AWS 团队在 SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏,包括 all-reduce 前后的 NaN/Inf 梯度检查、环形重放审计和权重指纹比对,并给出定位节点、隔离与替换的完整流程。
开源引擎用反合一(anti-unification)在 e-graph 上计算两条形式化策略的最具体公共模式,把相同部分只展示一次、差异部分并列保留,从而过滤掉重排合取项、等价谓词等语法噪声。该引擎不导入 Cedar、Dogwood、OpenShell、CEL 的原生策略,而是把相关语法编码为项并声明等式。它可用于对比 LLM 自动形式化多次生成的候选,先审查变化部分。
OpenAI Codex 可通过 Amazon Bedrock 调用支持的 OpenAI 模型完成推理,Codex 本身仍运行在开发者工作站上。
AWS 提出一种事件驱动架构,用 CloudTrail、EventBridge 和 Lambda 自动同步 AWS Agent Registry 中 MCP 服务器的工具与 schema 变更。