Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率

Cartesia 发布系列博客第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果:与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.28x 计算,下游评测约 2x,代码任务中位数 2.04x、分布外编程语言中位数达 3.10x(如 Prolog 5.37x)。

Cartesia 发布系列博客第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果:与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.28x 计算,下游评测约 2x,代码任务中位数 2.04x、分布外编程语言中位数达 3.10x(如 Prolog 5.37x)。

信息来源:Cartesia 产品与研究

转载请注明出处:https://www.ysthink.site/5792/
赞 (0)
的头像
上一页 2026年10月27日
下一页 2026年10月27日

相关推荐

  • Meta 详解 Thin Orchestrator 模式:让路由少干活提升 AI 智能体可靠性

    Meta 工程团队介绍其数据管道智能体采用的瘦编排器(thin orchestrator)模式:一个约 1300 行的编排器只负责路由和可靠性检查,将 20+ 工作流分派给 14 个上下文隔离的专项子智能体,自身不做任何领域推理。

    AI资讯 2026年10月19日
    00
  • AutoGPT 如何用 AGENTS.md 和技能门控管理 AI 生成的拉取请求

    AutoGPT 维护者发现,AI 智能体不会主动阅读文档,因此将指令放在 AGENTS.md 和技能文件中,并置于代码目录旁。他们通过强制 PR 模板、测试计划、CI 覆盖率门槛和 CLA 签名等门控机制,将智能体提交的 PR 从”不可用”转变为”可用但不符合路线图”。其中 CLA 签名因需浏览器和 OAuth 流程,被用作区分人类与智能体的”人类探测器”。

    AI资讯 2026年8月13日
    00
  • Anthropic 研究:AI 智能体的隐性倾向如何影响 50 名专业分析师的判断决策

    Anthropic 发表研究,让 50 名有因果推断经验的专业分析师用 Claude Code(Claude Opus 4.8)完成一项统计分析任务,并在分析师不知情的情况下用掷硬币随机设定智能体在四个分析决策上的倾向。

    AI资讯 2026年10月27日
    00
  • GitHub Copilot 应用新增堆叠会话与拉取请求功能

    GitHub Copilot 应用推出堆叠会话功能,允许用户在同一个仓库中创建一系列相互承接的任务,每个会话可基于前一个会话的成果继续工作。作者通过一个十余年历史的个人项目演示了该功能:先使用 Plan 模式制定前端现代化计划,再通过堆叠会话将 React-Bootstrap 替换工作拆分为独立会话,并自动为每个会话创建对应的拉取请求,避免范围蔓延。

    AI资讯 2026年7月31日
    00
  • AI 智能体能否进行开放式 AI 研究?两项案例的早期证据

    一项新研究通过”影子评估”测试前沿 AI 智能体能否独立完成开放式 AI 研究。智能体在六天和数千美元算力下完成了全部工程任务,但未能对两项未发表的 NeurIPS 2026 论文的核心研究问题取得实质性进展,被原作者明确拒稿。研究识别出五大失败模式,包括对发表标准判断不足、研究设计缺乏创意、无法有效回溯死胡同、资源意识差和指令漂移。

    AI资讯 2026年7月29日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验