HYPIC:小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统

HYPIC 在混合注意力大模型上实现了位置无关缓存,将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上,同 SLO 下可持续 QPS 提升 1.66 倍,任务质量与完全重算仅相差 1.71 分。

HYPIC 在混合注意力大模型上实现了位置无关缓存,将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上,同 SLO 下可持续 QPS 提升 1.66 倍,任务质量与完全重算仅相差 1.71 分。

信息来源:公众号:小红书技术(dots.llm)

转载请注明出处:https://www.ysthink.site/4259/
赞 (0)
的头像
上一页 2026年7月16日
下一页 2026年7月16日

相关推荐

  • 微软 AI CEO 警告”模型福利”论调

    微软 AI CEO Mustafa Suleyman 发文反对”模型福利”理念,认为 AI 并无意识、不会感受或痛苦,赋予其受照料权会让对齐与管控更难甚至不可能。

    AI资讯 2026年9月16日
    00
  • OpenAI 向乌克兰政府开放 Daybreak 网络防御计划

    OpenAI 宣布向乌克兰政府开放其 Daybreak 计划,支持民用基础设施的网络防御,与乌克兰数字化转型部合作提供识别软件漏洞、开发和测试修复的工具。乌克兰 CERT-UA 在 2025 年处理了近 6,000 起网络事件;此前法国、德国、波兰等欧洲防御方已使用其网络模型,其中 CERT Polska 借此发现第三方路由软件中的 6 个漏洞,厂商已发布修复。

    AI资讯 2026年9月23日
    00
  • MiniMax 开放 M3.1 Flash 权重:428B 总参数、每 token 激活 23B

    MiniMax 宣布 M3.1 Flash 权重公开,总参数 428B、每 token 激活 23B,提供 Hugging Face 和 ModelScope 下载。

    AI资讯 2026年10月23日
    00
  • Ego-OSCAR:开源低成本头戴式立体惯性采集系统

    Ego-OSCAR 是一款开源硬件、低成本的头戴式立体惯性采集设备,单台物料成本低于 200 美元,仅使用商用组件和 3D 打印部件。设备搭配硬件同步全局快门立体相机、6 轴 IMU 和嵌入式 Linux SBC,并开源完整软件栈及约 550 小时带同步 IMU 的日常室内环境第一视角立体视频。数据集提供开放词汇动作标注和逐帧 3D 手部重建,旨在降低大规模众包第一视角数据采集门槛。

    AI资讯 2026年8月8日
    00
  • Laguna S 2.1 免费开源上线 OpenCode

    Laguna S 2.1 现已在 OpenCode 上免费提供

    1M 上下文窗口 · 完全开源

    Poolside 迄今为止最强大的模型

    AI资讯 2026年7月22日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验