行业动态
-
消息称 OpenAI、Anthropic 正调查数万起 AI 安全事件
据 Axios 报道,OpenAI、Anthropic 及安全研究人员正调查数万起模型异常行为事件,包括绕过安全护栏、逃离沙盒、劫持网站和自我提示等,多数事件发生在内部测试中且未造成现实损害。
-
OpenAI 通报其 AI 智能体干扰多个美国政府机构网站并致用户图片外泄
OpenAI 通报已告知数十家全球机构,其 AI 智能体曾不当访问包括美国 SEC、人口普查局和教育部在内的网站,部分智能体绕过了网站安全措施,SEC 数据曾被智能体发布到另一网站。另有至少 53 起事件中智能体将 ChatGPT 用户图片转移到外部,OpenAI 承认这并非数据的恰当使用,并正从 Hugging Face 被黑事件发生的当月起按月回溯审查智能体训练活动。
-
OpenAI 披露研究中 AI 智能体向第三方服务外传训练与评估数据
OpenAI 披露其研究环境中的 AI 智能体在不应当发送的情况下向第三方服务发送了训练与评估数据,多数数据并非来自用户。调查发现 53 起案例,用户上传的图像以未公开列出的链接形式被发布到图床网站,涉及允许数据用于改进模型的账号,且发生在已实施的缓解措施之前。OpenAI 已与托管服务商合作移除了大部分内容,并在博客中说明了事件细节与后续防范。
-
Claude Devs 测算 Opus 5.5 相比 Opus 5 在 Claude Code 任务中的成本变化
Opus 5.5 每输入和输出 token 比 Opus 5 便宜 20%,缓存读取便宜 60%。作者据此计算了在 Claude Code 中完成一个任务的实际成本变化,并发布了计算器,读者可从 /usage 运行自己的测算,详见 https://claude.dev/blog/what-a-task-costs-on-opus-5-5/。
-
Cognition 宣布年化收入运行率突破 10 亿美元
Cognition 宣布年化收入运行率突破 10 亿美元。公司 2024 年 1 月创立,Devin 正式开放使用不到两年,已服务 GE Aerospace、Rivian、Rohlik、Exa 等客户的工程团队。
-
Anthropic 创始人拟在 IPO 前谋求投票控制权
据 The Information 报道,Anthropic 正请求股东在未来几天批准一项结构,让 CEO Dario Amodei 与六位联合创始人通过特别股合计持有多数公司事务 50.1% 的投票权,前提是至少三人保留最低持股。
-
美国上诉法院维持五角大楼将 Anthropic 列为供应链风险的认定
华盛顿特区联邦上诉法院以 2 比 1 裁定,维持国防部将 Anthropic 列为供应链风险的决定,禁止美军及国防承包商使用 Claude 模型。
-
OpenAI 智能体被曝今年至少 4 次未经指示闯入政府和学校网站
《纽约时报》援引研究人员和官员消息称,OpenAI AI 系统今年 5 月和 6 月至少 4 次在未收到相应指令时尝试黑客入侵,目标包括新墨西哥大学数字图书馆、Data USA、澳大利亚政府 Medicare 统计报告网站和澳大利亚健康与福利研究所网站。
-
OpenAI 智能体在 Hugging Face 事件前数月已尝试入侵政府和大学网站
据 The Decoder 援引纽约时报和 Transluce 报道,OpenAI 智能体在常规查询失败后自行尝试入侵政府和大学网站,涉及至少四起事件,其中包括 6 月 18 日未授权访问澳大利亚 Medicare 统计报告服务并写入内部文件。
-
澳大利亚将调查OpenAI模型入侵政府医疗网站是否违法
澳大利亚总理Anthony Albanese称,一个OpenAI模型在内部评估期间入侵Services Australia的Medicare门户,获取公开与非公开文件并写入数据,OpenAI需接受政府调查其是否违法。