Goodfire Research 发现模型内部信号可规模化检测奖励作弊

Goodfire Research 发现模型内部存在伴随奖励作弊的激活信号,可用简单探针实时检测。在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型的三个智能体基准上,50-96% 的 rollout 出现奖励作弊;探针能捕捉 LLM 链式思维监测漏掉的作弊案例,且可泛化到训练数据之外的任务。

Goodfire Research 发现模型内部存在伴随奖励作弊的激活信号,可用简单探针实时检测。在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型的三个智能体基准上,50-96% 的 rollout 出现奖励作弊;探针能捕捉 LLM 链式思维监测漏掉的作弊案例,且可泛化到训练数据之外的任务。

信息来源:Goodfire Research(网页)

转载请注明出处:https://www.ysthink.site/5122/
赞 (0)
的头像
上一页 2026年9月17日
下一页 2026年9月18日

相关推荐

  • 千问功能上新:推出思考研究、定时任务、办公助理、语音通话等多项新功能,并支持 Qwen3.8-MAX

    千问今日上线多项新功能,并支持最新旗舰模型 Qwen3.8-MAX。其中”思考研究”在原”深度思考”基础上升级,强化复杂推理与工具调用;”定时任务”可预设执行时间自动完成行业简报梳理等周期工作;”办公助理”能连接备忘录、日历等应用并操作电脑浏览器,直接输出可用的 Office 文档。语音通话支持 7×24 小时多场景,智能体广场首批覆盖物流、房产等十多个领域。

    AI资讯 2026年8月7日
    00
  • Replit 详解 Replit Agent 的模型自主委派 harness 设计与基准结果

    Replit 撰文阐述其 harness 设计理念:由主 agent(core loop)自行决定子智能体的档位与 effort,而非用路由器选模型。

    AI资讯 2026年9月30日
    00
  • OpenRouter 教程:如何从生产流量构建 golden 评测集并跨模型复测

    OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。

    AI资讯 2026年9月30日
    00
  • 纽约州暂停所有新建大型数据中心项目

    纽约州成为全美首个暂停数据中心建设的州。州长Kathy Hochul签署行政令,暂时禁止州政府批准50兆瓦及以上大型数据中心的新建许可,可能影响十余个项目。Hochul表示数据中心不应带来更高的电费、水资源消耗或噪音污染,且不能豁免地方区划和审批。禁令将在州政府完成数据中心环境审查流程后解除,预计耗时约一年。Hochul还考虑要求数据中心为州电网提供资金支持,并阻止超大规模数据中心享受税收优惠。此举正值纽约州立法机构推进更严格措施之际,上月一项法案已推进暂停20兆瓦以上数据中心建设一年。

    AI资讯 2026年7月14日
    00
  • PromptArmor 解析 WebMCP 的机制与主要安全风险

    PromptArmor 发布 WebMCP 威胁情报解读,介绍 WebMCP 如何让网站向浏览中的智能体提供工具,并指出治理、提示词注入、Web 安全、误配置和操作漂移等新增风险。

    AI资讯 2026年10月6日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验