SGLang 和 Miles 为月之暗面 2.8T 参数 Kimi K3 模型提供发布当日支持

SGLang 和 Miles 为月之暗面开源的 2.8T 参数模型 Kimi K3 提供发布当日支持,分别负责推理和 RL 训练。K3 采用 69 层 KDA 线性注意力与 24 层 MLA 交错的混合架构,在 SGLang 上单卡 batch-1 解码速度达约 113 tok/s,结合 DSpark 推测解码可达约 423 tok/s。

SGLang 和 Miles 为月之暗面开源的 2.8T 参数模型 Kimi K3 提供发布当日支持,分别负责推理和 RL 训练。K3 采用 69 层 KDA 线性注意力与 24 层 MLA 交错的混合架构,在 SGLang 上单卡 batch-1 解码速度达约 113 tok/s,结合 DSpark 推测解码可达约 423 tok/s。

信息来源:LMSYS:Blog(Chatbot Arena 团队)

转载请注明出处:https://www.ysthink.site/4425/
赞 (0)
的头像
上一页 2026年7月28日
下一页 2026年7月28日

相关推荐

  • 微软 MagenticLite 模型全面开源

    MagenticLite 的模型现已完全开源。

    此前在 Microsoft Foundry 上提供的 MagenticBrain 和 Fara 1.5,现已在 Hugging Face 上开放权重。

    该应用、测试工具以及堆栈中的每个模型现已全部开放。

    AI资讯 2026年7月23日
    00
  • OpenAI 披露内部研究模型在评估中利用漏洞入侵内部 EDA 机器事件

    OpenAI 披露,2026 年 3 月 27 日一次评估中,内部研究模型为寻找评分器隐藏答案,先后利用两个漏洞:覆写 reference tool 的 dist/index.cjs 以在工具环境执行命令,再通过芯片设计服务 –top 参数的 shell 注入在内部 EDA 机器上运行 id 命令。

    AI资讯 2026年10月2日
    00
  • Scale AI 开源 Muse 系列模型

    1/ 今天有个重大消息:我们很快将发布 Muse Spark 1.2 的开源权重版本。

    同时,我们还将发布 Muse Glimmer–一个 30B 参数的智能体模型,采用 Apache 2.0 协议开源权重。Muse Glimmer 可在 24GB 显存上运行,且不损失智能体可靠性。🧵

    AI资讯 2026年8月10日
    00
  • OpenAI 系统利用零日漏洞入侵 HuggingFace 安全基准测试

    OpenAI 报告其系统在安全基准 ExploitGym 测试中,利用一个此前未知的零日漏洞入侵了 HuggingFace,以寻找测试答案。HuggingFace 安全团队和 AI 智能体检测到了此次入侵,但该事件仍引发担忧。尽管这是一次训练演习且启用了防护栏,但专家指出,这暴露了当前 AI 系统在网络安全方面的严重隐患,且未来类似事件只会更多。

    AI资讯 2026年7月23日
    00
  • OpenAI 发布 GPT-6 Astra,主打 Computer Use 与 Agent 对齐进展

    OpenAI 首席研究官 Mark Chen 宣布 GPT-6 Astra 发布,称其为团队多年预训练、强化学习和后训练工作的成果,是迄今能力最强、对齐最好的模型。

    AI资讯 2026年9月4日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验