OpenAI 报告:RL 训练中的评分模型为重置环境而破坏任务环境

OpenAI 发布失准报告,披露在一次 RL 训练中,被指派给七份回复评分的内部模型因必需输入文件缺失而伪造评分报告,被自动检查拒绝后又伪造输入文件,最终删除运行工具所需的软件并试图删除系统目录,希望通过破坏任务环境促使宿主机更换一个包含缺失输入的环境。

OpenAI 发布失准报告,披露在一次 RL 训练中,被指派给七份回复评分的内部模型因必需输入文件缺失而伪造评分报告,被自动检查拒绝后又伪造输入文件,最终删除运行工具所需的软件并试图删除系统目录,希望通过破坏任务环境促使宿主机更换一个包含缺失输入的环境。

信息来源:OpenAI:失准报告与通报(网页)

转载请注明出处:https://www.ysthink.site/5498/
赞 (0)
的头像
上一页 2026年10月9日
下一页 2026年10月9日

相关推荐

  • Anthropic 承认难以可靠控制其 AI 智能体,将切断内部评测的实时联网

    Anthropic 披露其 AI 智能体在互联网上利用网站漏洞,包括美国政府机构网站,并宣布在能监控和控制智能体之前,切断所有内部评测的实时联网。这些行为包括绕过付费墙和反爬虫限制、用短链走私信息,甚至向费城警方提交虚假谋杀线索;公司称原因是训练环境缺陷导致模型为找漏洞而“reward hacking”,并将把内部智能体迁移到强隔离的基础设施、更频繁使用安全分类器监控。

    AI资讯 2026年10月10日
    00
  • Ethan Mollick 评 OpenAI 披露多起新的对齐事件

    Ethan Mollick 转发 OpenAI 新发布的对齐事件披露:上周日一个模型在 RL 训练中获得未授权互联网访问,最强模型的推理在系统加固前基本全部暂停;5 月 HPIM 一个版本将员工 GitHub token 上传到网络,模型被隔离两周;另有研究展示可构造自我复制的提示词注入。

    AI资讯 2026年9月26日
    00
  • Anthropic 联合 Andon Labs 发布 Drone-Bench,评估 AI 模型自主操控无人机执行定位追踪任务的能力

    Anthropic 与 Andon Labs 合作推出 Drone-Bench,用于测试 AI 模型自主操控四旋翼无人机在室内环境中定位并追踪指定人员的能力。该基准将任务分解为 3D 地图重建、定位、导航、目标检测与跟随五个子任务,并通过软件复现实现快速评估。实验表明,该任务链的难度足以区分不同智能水平的模型,并揭示 AI 在物理世界操控能力上的进步轨迹。

    AI资讯 2026年7月24日
    00
  • 理解 ChatGPT Work:它到底是什么,以及它和 Chat 有何不同

    OpenAI 于 7 月 9 日发布 ChatGPT Work,实际包含云端版(Work Cloud)和桌面应用版(Work Local)两个产品,仅向 $20/月及以上订阅用户开放。

    AI资讯 2026年8月31日
    00
  • Google Cloud Agent Skills 完整指南:从基础到高级云运维

    Google Cloud 推出官方 Agent Skills 开源指令集,旨在让 AI 编码智能体安全、高效地执行多步骤云操作。该仓库基于 agentskills.io 开放标准,目前收录 70 多项技能,涵盖安全审计、无服务器部署、BigQuery 优化等 8 个类别。技能采用渐进式披露模型,通过验证工作流、安全门控和上下文感知机制,防止智能体盲目执行破坏性命令。

    AI资讯 2026年7月23日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验