跳到正文

#部署/工程

今日 3 条
11月17日周二
  1. Microsoft Research66

    TokenEconomizer:让 AI 编码智能体从历史会话中学习以降低 token 成本

    微软研究院联合 UC Berkeley 和 Microsoft Security 提出开源插件 TokenEconomizer,它从编码智能体在仓库中的历史会话学习,在不修改智能体和底层模型的情况下减少重复探索、无用工具加载和失败循环。

    推荐理由:微软研究院等机构提出的插件在不改动智能体和模型的前提下,用仓库历史降低编码智能体的 token 成本,并给出多组合实测数据。

  2. AWS Machine Learning Blog42

    Amazon Bedrock 开放权重模型上线显式提示词缓存

    Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,用户可通过 Chat Completions API 的 prompt_cache_options 标记可复用前缀。缓存读取按低于标准输入的价格计费,重复使用同一前缀可降低输入成本与响应延迟;隐式缓存则自动按最佳努力复用前缀。提示词与输出不会共享给模型提供方或用于训练。

  3. NVIDIA Blog72

    NVIDIA Vera Rubin 首次亮相 MLPerf,横扫训练与 Endpoints 基准

    NVIDIA Vera Rubin 平台首次提交 MLPerf 结果,在 MLPerf Training v6.1 的全部基准上均有成绩,Vera Rubin NVL72 每 GPU 性能最高达 GB300 NVL72 的 2 倍。

    推荐理由:原文给出 Vera Rubin 在 MLPerf Training 与 Endpoints 的具体成绩和规模数据,读者可据此判断新一代平台在训练与智能体推理上的代际提升幅度。

11月16日周一
11月15日周日
11月14日周六
  1. Hugging Face Blog34

    用 SimReady 资产在 Isaac Sim 中搭建机器人抓取放置仿真

    英伟达团队演示了用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐在 Isaac Sim 6.2 中搭建抓取放置仿真,资产来自 Hugging Face 上的 SimReady Central 库。示例使用 GPT-6 Sol 生成并执行任务代码,完成抓取、抬升、移动和释放动作。运行前需检查关节限位与驱动设置、小幅运动及接触行为,避免资产静止时外观正常但仿真中动作出错。

  2. AWS Machine Learning Blog41

    Amazon Bedrock AgentCore runtime 快速会话启动的架构模式

    Amazon Bedrock AgentCore runtime 的 platformVersion "V2" 改为在创建或更新时一次性构建快照,新会话直接恢复快照,不再每次拉取容器镜像,会话启动更快更稳定。V2 还会回收会话未使用的内存,使计费贴合实际用量。文章给出四种模式,包括用 build hook 预加载大文件、CLI 或浏览器,以及在用户打开应用或聊天窗口时后台预热会话。

  3. Hugging Face Blog62

    llama.cpp 与 ggml 发布 v1.0.0,确立语义化版本规则

    llama.cpp 与 ggml 发布 v1.0.0,并规定此后公共 C API 的破坏性变更将以主版本号递增来标记。项目已支持超过 150 种模型架构变体及主流投机解码方法,并通过 Docker、Homebrew、conda-forge、Winget、XCFramework 等渠道分发。

    推荐理由:llama.cpp 与 ggml 同步发布 v1.0.0,并明确此后以主版本号标记 API/ABI 不兼容变更,下游集成方可据此规划升级。

11月13日周五
  1. The Decoder80

    前 OpenAI 研究员称在六款中国 AI 模型中发现 Nvidia Blackwell 芯片痕迹

    前 OpenAI 研究员 Will DePue 称,他从公开模型权重的初始化随机分布中识别出 Nvidia Blackwell 芯片的核数特征,涉及 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3 和蚂蚁 Ling-3.1-flash 六款自 2026 年 4 月以来发布的中国模型。

    推荐理由:原文给出从模型权重随机种子反推训练芯片核数的技术路径,并列出六款中国模型对应的 Blackwell 型号与算力成本估算。

  2. AWS Machine Learning Blog38

    在 Amazon Bedrock 上优化单任务成本并验证智能体 ROI

    AWS 提出以“单任务成本”而非“单 token 价格”衡量 Amazon Bedrock 上的模型开销,并给出计算真实模型成本的框架。文章拆解了 tokenizer 效率、输出冗余、智能体循环轮次和推理开销四类隐藏成本驱动因素,示例中单价高 2 倍的模型因单轮完成、输出更短,单任务成本反而低 65%。

  3. AWS Machine Learning Blog36

    用 CUR 2.0 和 AWS Budgets 按 IAM 主体追踪并限制 Amazon Bedrock 支出

    AWS 给出无需自写代码的方案,按 IAM 用户或角色追踪并限制 Amazon Bedrock 推理支出。Amazon Bedrock 自动记录每次推理请求的 IAM 主体身份,配合 principal tags 或会话标签、CUR 2.0 与 Cost Explorer 实现按身份的成本可见性,再用 AWS Budgets 预算操作在超阈值时下发 Deny IAM 策略。

  4. AWS Machine Learning Blog71

    AWS 发布新一代 AgentCore runtime,会话启动提速最高 15 倍

    AWS 发布新一代 Amazon Bedrock AgentCore runtime,每个会话仍运行在独立的 Firecracker MicroVM 中,会话启动最高快 15 倍、算力扩展至 4 倍(最高 8 vCPU 和 32 GB)、运行效率提升最高 68%。

    推荐理由:原文给出会话启动、算力上限与内存回收的具体变化,读者可据此判断智能体生产部署的成本与隔离取舍。