跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 41–50 条 · 共 50 条
9月22日周二
  1. Latent Space78

    TypeSafe AI 发布 Jev:面向软件而非聊天的 System 1 模型

    TypeSafe AI 发布首个大型可编程模型 Jev,定位为面向代码消费的 System 1 模型,按每美元智能优化,取名自杰文斯悖论。其核心创新是未发表的 RLCD(Reinforcement Learning for Calibrated Decisions),优化 System 1 任务上具有认知诚实概率的答案,而非 RLHF 的人类评分反馈或 RLVR 的可验证输出。

    推荐理由:Jev 提出面向代码消费的 System 1 模型与 RLCD 训练目标,读者可据此理解程序化 AI 与聊天模型的路线差异。

9月17日周四
  1. GitHub Blog · AI & ML72

    GitHub 用 Copilot 把 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,代码主要由 AI 智能体编写,分布在 128 个合入 main 的 PR 中增量发布而非一次性切换。

    推荐理由:作者以亲历者身份给出把 80 万行运行时从 TypeScript 迁到 Rust 的完整工程细节,可迁移到大规模 Agent 协作开发。

9月16日周三
  1. NVIDIA Blog62

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1,吞吐最高达 GB300 NVL72 的 3.7 倍

    NVIDIA 在 MLPerf Inference v6.1 首次提交 Vera Rubin NVL72 预览成绩,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。

    推荐理由:MLPerf v6.1 首次提交给出 Vera Rubin NVL72 相对 GB300 的吞吐与扩展效率数据,可据此判断下一代推理平台的性价比走向。

  2. NVIDIA Blog71

    NVIDIA 在 AI Infra Summit 发布 Vera Rubin 与 DSX 平台进展,主打每瓦 token 能效

    NVIDIA 在 AI Infra Summit 上公布 Vera Rubin 系统、DSX 平台与 NVLink 6 的多项进展,核心指标从峰值性能转向每兆瓦可验证的智能体 token 数。

    推荐理由:NVIDIA 在 AI Infra Summit 集中给出 Vera Rubin、DSX 与 NVLink 6 的能效与吞吐数据,可据此判断 AI 工厂的供电与推理经济性走向。

9月5日周六
  1. GitHub Blog · AI & ML71

    GitHub 发布 Project HydraFusion:多模型编排实现前沿级编码质量

    GitHub 推出研究预览版 Project HydraFusion,通过运行时多模型编排为 Copilot 提供前沿级编码能力,用户可在 GitHub Copilot CLI 中通过 /experimental 选择该模型。

    推荐理由:GitHub 官方披露 HydraFusion 的三种编排模式与三项基准的成本质量对比,可据此判断多模型编排在编码任务上的取舍。

6月11日周四
5月17日周日
  1. Google DeepMind72

    Google 将 SynthID 与 C2PA 内容验证扩展到搜索、Gemini 和 Chrome

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到搜索,并将在未来几周进入 Chrome。SynthID 已为超过 1000 亿张图片和视频、6 万年音频打上水印,Gemini 中的验证功能已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到搜索、Gemini 和 Chrome,读者可据此了解内容溯源工具的实际覆盖范围。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为解耦的计算岛并异步传输数据,从而隔离局部硬件故障。该架构基于 Pathways 与 DiLoCo,测试中用混沌工程注入硬件故障后仍能继续训练并重新接入失效单元,用 Gemma 4 验证的 ML 性能与传统方法持平。

    推荐理由:原文给出跨数据中心异步训练的具体带宽与加速数据,读者可据此判断分布式预训练的工程可行性。