跳到正文

全部动态

今日 1 条
今天11月20日周五
11月19日周四
  1. AWS Machine Learning Blog36

    Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数十亿文档索引

    Exa 在 AWS Inferentia2 与 Trainium2 上把嵌入吞吐提升约 1.5 倍(50%),用于支撑数十亿级网页文档的语义索引。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力 kernel,以及自研 weight-stationary 融合 SwiGLU MLP kernel 消除 HBM 读写停顿。

  2. AWS Machine Learning Blog40

    Airbnb 如何用每任务成本在 Amazon Bedrock 上运营编码智能体

    Airbnb 通过 LLM gateway 在 Amazon Bedrock 上运行编码智能体 AirChat,并用“每任务成本”指导模型选型。约五周内上线八款新模型,到 10 月中旬约三分之二的编码智能体请求已流向这些新模型。Airbnb 在发布前用自有任务评测各模型的得分与每任务成本,发布后借助 CloudWatch 的延迟、限流和 token 指标核对生产表现。

11月18日周三
11月17日周二
11月15日周日
11月14日周六
  1. Hugging Face Blog34

    用 SimReady 资产在 Isaac Sim 中搭建机器人抓取放置仿真

    英伟达团队演示了用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐在 Isaac Sim 6.2 中搭建抓取放置仿真,资产来自 Hugging Face 上的 SimReady Central 库。示例使用 GPT-6 Sol 生成并执行任务代码,完成抓取、抬升、移动和释放动作。运行前需检查关节限位与驱动设置、小幅运动及接触行为,避免资产静止时外观正常但仿真中动作出错。

  2. AWS Machine Learning Blog41

    Amazon Bedrock AgentCore runtime 快速会话启动的架构模式

    Amazon Bedrock AgentCore runtime 的 platformVersion "V2" 改为在创建或更新时一次性构建快照,新会话直接恢复快照,不再每次拉取容器镜像,会话启动更快更稳定。V2 还会回收会话未使用的内存,使计费贴合实际用量。文章给出四种模式,包括用 build hook 预加载大文件、CLI 或浏览器,以及在用户打开应用或聊天窗口时后台预热会话。

11月13日周五
  1. AWS Machine Learning Blog38

    在 Amazon Bedrock 上优化单任务成本并验证智能体 ROI

    AWS 提出以“单任务成本”而非“单 token 价格”衡量 Amazon Bedrock 上的模型开销,并给出计算真实模型成本的框架。文章拆解了 tokenizer 效率、输出冗余、智能体循环轮次和推理开销四类隐藏成本驱动因素,示例中单价高 2 倍的模型因单轮完成、输出更短,单任务成本反而低 65%。

  2. AWS Machine Learning Blog36

    用 CUR 2.0 和 AWS Budgets 按 IAM 主体追踪并限制 Amazon Bedrock 支出

    AWS 给出无需自写代码的方案,按 IAM 用户或角色追踪并限制 Amazon Bedrock 推理支出。Amazon Bedrock 自动记录每次推理请求的 IAM 主体身份,配合 principal tags 或会话标签、CUR 2.0 与 Cost Explorer 实现按身份的成本可见性,再用 AWS Budgets 预算操作在超阈值时下发 Deny IAM 策略。

11月12日周四
  1. AWS Machine Learning Blog34

    用反合一(anti-unification)对形式化策略做语义 diff

    开源引擎用反合一(anti-unification)在 e-graph 上计算两条形式化策略的最具体公共模式,把相同部分只展示一次、差异部分并列保留,从而过滤掉重排合取项、等价谓词等语法噪声。该引擎不导入 Cedar、Dogwood、OpenShell、CEL 的原生策略,而是把相关语法编码为项并声明等式。它可用于对比 LLM 自动形式化多次生成的候选,先审查变化部分。