微软完成 MAI-Base-2 预训练,称性能超过参测开源权重模型

10月16日消息,微软宣布已完成新一代基础模型 MAI-Base-2 的预训练。官方信息显示,该模型在性能方面超过了所有参与测试的开源权重模型。参数方面,MAI-Base-2 的总参数规模为 2.8T,活跃参数规模为 80B。

微软完成 MAI-Base-2 预训练,称性能超过参测开源权重模型

训练规模与算力效率

该模型在 6,000 个 NVIDIA GB200 GPU 上完成训练,训练周期为 38 天。整个训练过程中,平均浮点算力利用率为 21%,有效吞吐量为 89%。微软同时公布了与 DeepSeek-V4-Pro-Base 的对比结果,称 MAI-Base-2 的预训练算力效率是后者的 4 至 12 倍。

预训练方法与后续计划

微软表示,科学规模化、模型与基础设施协同设计以及数据规模化三项举措,对 MAI-Base-2 的预训练起到了关键作用。目前,微软在继续完善 MAI-Base-2 的同时,已经启动下一代模型 MAI-Base-3 的准备工作。