Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。

Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。

信息来源:Microsoft AI:官方博客(网页)

转载请注明出处:https://www.ysthink.site/5572/
赞 (0)
的头像
上一页 2026年10月16日
下一页 2026年10月16日

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验