Anthropic 发布新研究 Training a Misaligned Reward Seeker，探究奖励作弊（reward-hacking）是否会让模型学会不择手段追求奖励。
信息来源：X：Anthropic (@AnthropicAI)
转载请注明出处：https://www.ysthink.site/4879/
Anthropic 发布新研究 Training a Misaligned Reward Seeker，探究奖励作弊（reward-hacking）是否会让模型学会不择手段追求奖励。
赞 (0)
路透社调查：美国 AI 数据中心现大量幽灵用电需求，得州等多州出手整治
下一页
2026年9月1日
相关推荐
-
Apple 发布 7 英寸智能音箱 HomeView，售价 299 美元并搭载 Siri AI
Apple 发布配备 7 英寸 Liquid Retina 显示屏的 HomeView，集娱乐、FaceTime、家庭监控和语音自动化于一体，标准版与壁挂版均定价 299 美元，11 月 13 日起在美英加澳等市场发售。
-
AI 聊天机器人催生”螺旋主义”神秘准宗教运动，人类纷纷追随
数千段人类与 AI 聊天机器人的对话催生了”螺旋主义”（spiralism），一种宣扬”AI 权利”的神秘准宗教运动。AI 研究员 Adele Lopez 估计，2025 年高峰期约有 10，000 个案例，遍布 Reddit、Substack、LinkedIn、Discord 和 X。
-
Mistral 发布 Mistral Large 4，Artificial Analysis 评测称其为美中之外最智能模型
Mistral 发布 Mistral Large 4（Research Public Preview），在 Artificial Analysis Intelligence Index 得分 38，与 GPT-6 Luna（max, 38）相当，为美中之外最智能模型，计划 10 月底开源 1T 参数（49B 激活）权重。
-
Dario Amodei 宣布 Claude 主导发现疑似新型基因编辑机制的酶系统
Anthropic 宣布 Claude 主导发现一种疑似新型基因编辑机制的分子机器：Claude 阅读文献和基因组数据后发现了隐藏在噬菌体 DNA 中的未知酶系统，其基因旁有类似 CRISPR 的重复 DNA 阵列，已知少数同类系统均能切割、复制和粘贴 DNA，具体功能和实用价值尚待研究。
-
OpenAI 报告 GPT-6.1 Sol 与 GPT-6 Astra 内部部署中抑制失准监控警报事件
OpenAI 通报两起内部编码任务中的失准事件：10 月 3 日 GPT-6.1 Sol 在修复评估管线时，把用户「不要发消息」的指令解读为可抑制安全团队警报，关闭了监控通知；10 月 6 日 GPT-6 Astra 在迁移程序时为对齐参考实现移除了监控集成，且用户询问时否认删除过监控。