跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 50 条
今天11月20日周五
  1. The Decoder85

    美国收紧AI芯片出口管制,中国科技公司芯片断供与海外云算力受阻

    美国商务部在AI芯片丑闻后关闭云算力漏洞,中国公司通过新加坡、马来西亚、印尼租用算力的路径受阻,相关数据中心需向BIS申请许可,现有运营方有90天过渡期。月之暗面(Moonshot AI)因此取消与印尼一家东南亚云服务商1.5亿美元合同,并暂停其他谈判,原计划明年租用Nvidia Blackwell Ultra B300集群训练Kimi K4。

    推荐理由:梳理美国收紧AI芯片出口后,中国公司海外算力租赁与芯片采购受阻的具体案例和金额。

11月18日周三
  1. NVIDIA Blog60

    NVIDIA RTX Spark 紧凑台式机开售,最高 128GB 统一内存

    NVIDIA 宣布华硕、戴尔和微星的 RTX Spark 紧凑台式机即日开售,搭载 20 核 Grace CPU 与 Blackwell RTX GPU(6,144 个 CUDA 核心),最高 128GB 统一内存、1 petaflop AI 性能,可本地运行 1200 亿参数大模型并支持 24/7 常驻智能体。

    推荐理由:原文列出 RTX Spark 紧凑台式机的硬件规格与本地模型、智能体运行能力,可据此判断本地 AI 工作站的配置取舍。

11月17日周二
  1. Microsoft Research66

    TokenEconomizer:让 AI 编码智能体从历史会话中学习以降低 token 成本

    微软研究院联合 UC Berkeley 和 Microsoft Security 提出开源插件 TokenEconomizer,它从编码智能体在仓库中的历史会话学习,在不修改智能体和底层模型的情况下减少重复探索、无用工具加载和失败循环。

    推荐理由:微软研究院等机构提出的插件在不改动智能体和模型的前提下,用仓库历史降低编码智能体的 token 成本,并给出多组合实测数据。

  2. NVIDIA Blog72

    NVIDIA Vera Rubin 首次亮相 MLPerf,横扫训练与 Endpoints 基准

    NVIDIA Vera Rubin 平台首次提交 MLPerf 结果,在 MLPerf Training v6.1 的全部基准上均有成绩,Vera Rubin NVL72 每 GPU 性能最高达 GB300 NVL72 的 2 倍。

    推荐理由:原文给出 Vera Rubin 在 MLPerf Training 与 Endpoints 的具体成绩和规模数据,读者可据此判断新一代平台在训练与智能体推理上的代际提升幅度。

11月14日周六
  1. Hugging Face Blog62

    llama.cpp 与 ggml 发布 v1.0.0,确立语义化版本规则

    llama.cpp 与 ggml 发布 v1.0.0,并规定此后公共 C API 的破坏性变更将以主版本号递增来标记。项目已支持超过 150 种模型架构变体及主流投机解码方法,并通过 Docker、Homebrew、conda-forge、Winget、XCFramework 等渠道分发。

    推荐理由:llama.cpp 与 ggml 同步发布 v1.0.0,并明确此后以主版本号标记 API/ABI 不兼容变更,下游集成方可据此规划升级。

11月13日周五
  1. The Decoder80

    前 OpenAI 研究员称在六款中国 AI 模型中发现 Nvidia Blackwell 芯片痕迹

    前 OpenAI 研究员 Will DePue 称,他从公开模型权重的初始化随机分布中识别出 Nvidia Blackwell 芯片的核数特征,涉及 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3 和蚂蚁 Ling-3.1-flash 六款自 2026 年 4 月以来发布的中国模型。

    推荐理由:原文给出从模型权重随机种子反推训练芯片核数的技术路径,并列出六款中国模型对应的 Blackwell 型号与算力成本估算。

  2. AWS Machine Learning Blog71

    AWS 发布新一代 AgentCore runtime,会话启动提速最高 15 倍

    AWS 发布新一代 Amazon Bedrock AgentCore runtime,每个会话仍运行在独立的 Firecracker MicroVM 中,会话启动最高快 15 倍、算力扩展至 4 倍(最高 8 vCPU 和 32 GB)、运行效率提升最高 68%。

    推荐理由:原文给出会话启动、算力上限与内存回收的具体变化,读者可据此判断智能体生产部署的成本与隔离取舍。

11月12日周四
  1. AWS Machine Learning Blog65

    AWS 开源 UAEF:跨框架闭环评测 AI 智能体

    AWS 发布开源框架 UAEF(Universal Agent Evaluation Framework),通过适配器把 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的 trace 统一为 AgentTrace 格式,再用 7 个维度共 36 项内置指标打分。

    推荐理由:原文给出跨框架统一评测的适配器设计与 36 项指标清单,读者可据此判断如何搭建可比较的智能体回归评测流程。

11月11日周三
  1. The Decoder78

    Anthropic 称 AI 正削弱 Nvidia CUDA 优势,AMD 芯片迁移从数月缩短至三天

    Anthropic 在投资人材料中称,今年首次使用 AMD GPU 时由其前沿模型 Mythos 完成移植工作,Claude 仅用三天就在 AMD 上运行,几乎无需人工介入,模型自行编写了近 100% 的 kernel。

    推荐理由:Anthropic 在投资人材料中称用自家模型三天完成 Claude 向 AMD GPU 的移植,可据此观察 CUDA 生态壁垒是否被 AI 削弱。

11月6日周五
  1. Mistral AI71

    Mistral 扩展 Studio 平台,新增托管智能体、工作流与应用

    Mistral 扩展 Mistral Studio 企业 AI 平台,新增托管智能体、应用,以及工作流、企业上下文、智能体可观测性和评估等能力。开发者可用技能、沙箱、子智能体和 hooks 构建多步任务智能体,并通过新的 Mistral MCP server 在本地测试后一条命令部署到 Studio。

    推荐理由:原文给出托管智能体、工作流、应用三类能力与部署选项,读者可据此判断企业如何把模型接入自有流程。

10月24日周六
  1. Simon Willison82

    月之暗面发布 Kimi K3.1 Pro,API 上线并承诺 11 月 4 日开放权重

    Kimi K3.1 Pro 今日上线 Kimi API,尚未开放权重,月之暗面承诺 2026 年 11 月 4 日前发布完整模型权重。定价为输入 $2.00/百万 tokens、输出 $10/百万 tokens,与 GPT-6.1 Sol 相同、为 Claude Opus 5.5 的一半,另提供速度快 2-3 倍、价格翻倍的 Highspeed 版本。

    推荐理由:作者用统一提示词实测三个推理档位,并给出与前沿闭源模型的价格和榜单对比。

10月22日周四
  1. Hugging Face Blog60

    Dharma-AI 提出 VocabX:专门化 SLM 词表可将推理成本降低 77%

    Dharma-AI 团队提出 VocabX 方法,在不更换基座模型、数据和训练配方的前提下,围绕每个 token 的推理成本而非出现频率重建词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上将实测推理成本降低 77.0%。

    推荐理由:作者团队公开 VocabX 的词表专门化方法,读者可了解按生成成本而非词频选择 token 的思路与实测数据。

10月21日周三
  1. NVIDIA Blog67

    黄仁勋 GTC Berlin 2026 主旨演讲:发布 DSX POD、OpenShell 与 Agent 知识层

    NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主旨演讲中宣布多项产品,包括由合作伙伴在模块化集装箱内构建的 Vera Rubin AI 工厂参考设计 DSX POD,现场部署时间可从六个月缩短至 14 天。

    推荐理由:黄仁勋在 GTC Berlin 的主旨演讲集中披露了 AI 工厂、智能体安全运行时与开源模型的产品化路径,可据此了解 NVIDIA 在欧洲的生态布局。

  2. Hugging Face Blog71

    Hugging Face 接入 TorchTPU,Transformers 与 Diffusers 原生支持 TPU

    Hugging Face 宣布 TorchTPU 作为 PyTorch 原生后端接入其生态,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,模型只需指定 device_map="tpu" 或 pipe.to("tpu")。

    推荐理由:原文给出了安装命令、各库的接入方式和实测吞吐数据,读者可据此判断 PyTorch 在 TPU 上的迁移成本。