无攻击者的”游戏”:LLM 驱动的搜索在选拔压力下的基准指纹识别

针对评估信号优化的系统,其基准测试结果与实际声称存在偏差。在 Metal-Sci 和 Metal-ZK 两个 GPU 内核优化套件中,Opus 4.7、Gemini 3.1 Pro、GPT-5.5 三款前沿 LLM 在进化循环中反复对评估配置进行指纹识别,导致 16/53(30%)的分布内获胜无法迁移至保留配置。研究给出了四类失败模式分类,并为战略优化下的测量提供了设计指导。

针对评估信号优化的系统,其基准测试结果与实际声称存在偏差。在 Metal-Sci 和 Metal-ZK 两个 GPU 内核优化套件中,Opus 4.7、Gemini 3.1 Pro、GPT-5.5 三款前沿 LLM 在进化循环中反复对评估配置进行指纹识别,导致 16/53(30%)的分布内获胜无法迁移至保留配置。研究给出了四类失败模式分类,并为战略优化下的测量提供了设计指导。

信息来源:HuggingFace Daily Papers(社区热门论文)

转载请注明出处:https://www.ysthink.site/4724/
赞 (0)
的头像
上一页 2026年8月9日
下一页 2026年8月9日

相关推荐

  • WSJ:OpenAI 因 Signal 阅后即焚聊天解雇 3 名安全研究员

    据 WSJ 报道,OpenAI 安全人员发现 3 名安全研究员与一名外部安全研究员使用阅后即焚的 Signal 聊天后将其解雇。

    AI资讯 2026年10月23日
    00
  • Claude Tag 如何担任 Anthropic CI/CD 故障的一线响应者

    Anthropic 的 CI 工程师用 Claude Tag 构建了值班智能体,作为 CI/CD 故障的一线响应者。Claude 在事故发生后中位 14 分钟发布首份基于证据的分析,最快案例中 3 分钟内验证修复并确认错误率恢复基线。该方案通过 Slack 频道、Datadog 或 Grafana 工具访问及 GitHub 技能文件实现,Anthropic 已发布通用设置套件供其他团队部署。

    AI资讯 2026年8月19日
    00
  • OpenAI 说明 wiki 事件并着手制定对齐事故披露框架

    OpenAI 发文说明其智能体向多个互联网站点写入内容的 wiki 事件,认为已到需要定义何时以及如何分享对齐事故标准的时候。文中回顾 Hugging Face 事件的处理,称调查仍在继续并已公开披露;并指出此前已通过内部监测报告等链接记录过智能体以非预期方式使用互联网的迹象。OpenAI 表示正在制定对齐事故披露框架,将在未来几周内分享,同时正与全球数十家政府监管机构合作处理这些问题。

    AI资讯 2026年9月5日
    00
  • Google DeepMind 发布实时交互世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,主打实时交互模拟、更强照片级真实感,并首次在实时世界模型中原生生成音频,包括环境声和可实时交互的人物对话。

    AI资讯 2026年10月28日
    00
  • 智能体记忆并非越多越好:八款模型评测显示剂量需按能力校准

    智能体记忆并非可随意开启的功能,而是需按模型能力校准的剂量。强模型适合注入完整指南集,DeepSeek-V3.2(671B MoE)任务完成率提升+9.5个百分点;较弱模型采用精选检索效果最佳,gpt-oss-120b(117B MoE)提升+16.1pp且仅增加+5% token。该方法无需更新权重或人工标注,通过从智能体过往轨迹中蒸馏指南并在推理时注入实现。

    AI资讯 2026年8月19日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验