跳到正文
原文
Hugging Face Blog·· 2026-10-01精选AI 评分60

Ai2 发布 Olmo-core 3:面向大规模 MoE 的开源训练基础设施

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

AI 导读

Ai2 发布 Olmo-core 3,这是其大语言模型开发框架的一次重大升级,重新设计了开源 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数级别并保持计算效率。

推荐理由

原文给出 MoE 训练栈的吞吐与显存对比数据,可据此判断大规模 MoE 训练的开源方案现状。

来源:Hugging Face Blog · huggingface.co