Hugging Face Blog·· 3 小时前精选AI 评分71
AI2 发布 Olmo-core 3：面向万亿参数 MoE 的开源训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
AI2 发布 Olmo-core 3，这是其大语言模型训练框架的一次重要升级，重新设计了开放的混合专家（MoE）训练系统，目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由
原文给出了从 8 到 128 专家池、吞吐下降不足 5% 的对比数据，读者可据此判断大 MoE 训练成本的变化空间。
来源：Hugging Face Blog · huggingface.co