跳到正文
热点事件观察中

开源训练框架Olmo-core 3发布,支持万亿级MoE训练

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

2026年10月1日,开源大语言模型训练框架Olmo-core 3正式发布。该版本主要面向大型混合专家模型(MoE),采用重新设计的训练系统,支持将模型扩展至万亿参数规模。架构上,新版本改用DDP并支持MXFP8。性能测试显示,在8块NVIDIA B300 GPU上测试47B MoE模型时,其吞吐量提升约2.7倍至52,000 tokens/s/GPU;在512块B300集群上测试1.2万亿参数模型时,最高吞吐量达到858 TFLOP/s/GPU。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. Hugging Face
    Olmo-core 3 发布:面向大型 MoE 的开源可扩展训练基础设施

    开源大语言模型训练框架 Olmo-core 3 发布,采用重新设计的 MoE 训练系统,支持将模型扩展至万亿参数规模。新架构改用 DDP 并支持 MXFP8,在 8 块 NVIDIA B300 GPU 上测试 47B MoE 的吞吐提升约 2.7 倍至 52,000 tokens/s/GPU。在 512 块 B300 集群上,其 1.2 万亿参数模型最高吞吐达到 858 TFLOP/s/GPU。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。