跳到正文

论文研究

值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。

最新精选

第 21–23 条 · 共 23 条
5月12日周二
4月30日周四
4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为解耦的计算岛并异步传输数据,从而隔离局部硬件故障。该架构基于 Pathways 与 DiLoCo,测试中用混沌工程注入硬件故障后仍能继续训练并重新接入失效单元,用 Gemma 4 验证的 ML 性能与传统方法持平。

    推荐理由:原文给出跨数据中心异步训练的具体带宽与加速数据,读者可据此判断分布式预训练的工程可行性。