小红书与北大开源 UltraEP:面向大规模 MoE 训推的实时负载均衡方案

小红书与北大提出 UltraEP,首次将基于精确路由信息的实时负载均衡引入生产系统,在每个 microbatch 和每一层动态复制热点专家。在 Qwen3-235B 等模型上,训练吞吐平均达到理想性能的 94.6%,相比 Megatron-LM 提升 42%;推理 prefill 吞吐相比 SGLang 提升 1.56 倍。

小红书与北大提出 UltraEP,首次将基于精确路由信息的实时负载均衡引入生产系统,在每个 microbatch 和每一层动态复制热点专家。在 Qwen3-235B 等模型上,训练吞吐平均达到理想性能的 94.6%,相比 Megatron-LM 提升 42%;推理 prefill 吞吐相比 SGLang 提升 1.56 倍。

信息来源:公众号:小红书技术(dots.llm)

转载请注明出处:https://www.ysthink.site/4321/
(0)
的头像
上一页 2026年7月20日
下一页 2026年7月20日

相关推荐

  • NVIDIA 发布 Cosmos 3 Edge:4B 参数开源世界模型,为机器人及边缘 AI 提供实时推理与动作生成

    NVIDIA 在 Hugging Face 上开源了 Cosmos 3 Edge,一个 40 亿参数的世界模型,旨在帮助机器人和视觉 AI 智能体在边缘设备上理解环境、实时推理并生成动作。

    AI资讯 2026年7月20日
    00
  • NVIDIA 发布 Audio-Visual Flamingo:面向长视频的开放音频-视觉大语言模型

    NVIDIA 推出 Nemotron-Labs-Audio-Visual Flamingo(AV-Flamingo),一个完全开源的音频-视觉大语言模型,专为理解和推理长视频中的音频、图像与复杂场景设计。

    AI资讯 2026年7月17日
    00
  • Google DeepMind 发布三款新 Gemini 模型,但未包含 3.5 Pro

    Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber 三款新模型。其中 3.6 Flash 在编码和多模态性能上提升,token 用量降低 17%,成本低于前代;3.5 Flash Cyber 专为修复网络安全漏洞微调,仅限政府及可信合作伙伴使用。

    AI资讯 2026年7月22日
    00
  • Anthropic 经济指数:加拿大 Claude 使用情况分析

    基于2026年2月Claude.ai对话样本,加拿大占全球流量的2.6%,人均使用量是预期的4.4倍,在总使用量前十国家中仅次于美国。加拿大内部采用率高度集中:安大略省占43.9%对话,不列颠哥伦比亚省人均使用量达预期的1.4倍,而纽芬兰与拉布拉多省仅为0.2倍。省级人均使用量与收入无关,而与专业、科学和技术服务业的就业占比高度相关。各省使用场景稳定:工作占34-40%,课程作业占13-18%,个人用途占44-51%。翻译请求与公共管理就业份额正相关,反映加拿大联邦双语政策;文档翻译是加拿大相对于其他英语国家最独特的使用场景。加拿大整体使用偏向学术和早期职业场景。

    AI资讯 2026年7月14日
    00
  • 不会代码也能做产品:一份从0开始的Vibe Coding保姆级教程

    本文面向零代码用户,提供一套使用国产大模型(Kimi、GLM、Qwen等)从零开发并上线产品的完整流程。核心步骤包括购买Coding Plan、下载官方Agent编程产品、注册域名与服务器并同步做ICP备案,然后通过Agent的Plan模式描述需求并让AI自动执行开发。上线后建议建立分支保护与测试流程,并强调即使不懂代码,也必须对系统架构了如指掌。

    AI资讯 2026年7月20日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验