Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，将大规模训练拆分为解耦的计算岛并异步传输数据，从而隔离局部硬件故障。该架构基于 Pathways 与 DiLoCo，测试中用混沌工程注入硬件故障后仍能继续训练并重新接入失效单元，用 Gemma 4 验证的 ML 性能与传统方法持平。
推荐理由：原文给出跨数据中心异步训练的具体带宽与加速数据，读者可据此判断分布式预训练的工程可行性。