设计 AI 评测:先求清晰,再谈可视化

本文演示如何用开源评测框架 Inspect AI 和 Harbor 评估 agent 技能,并借助 Google Sheets 和 Data Studio 进行可视化分析。

本文演示如何用开源评测框架 Inspect AI 和 Harbor 评估 agent 技能,并借助 Google Sheets 和 Data Studio 进行可视化分析。

信息来源:Google AI:DEV 作者专属(RSS)

转载请注明出处:https://www.ysthink.site/4760/
赞 (0)
的头像
上一页 2026年8月18日
下一页 2026年8月18日

相关推荐

  • 部分数学家呼吁抵制 OpenAI,AI 生成的数学证明涌入数学领域

    AHM 组织在 Terence Tao 主持下发表声明,呼吁抵制 OpenAI,称其一次性发布 700 多个 AI 生成证明文件是展示力量而非学术行为。此前 OpenAI 宣称内部模型一个月内解决逾 100 个开放数学问题,约 8000 个测试问题成功率约 5%,平均每个耗时 3 小时 GPT-Pro 级算力。

    AI资讯 2026年10月9日
    00
  • 通义千问开源 Qwen3.8 系列模型

    通义千问兑现承诺,开源 Qwen3.8 系列模型。其中 Qwen3.8-27B 为原生多模态稠密模型,仅 27B 参数即全面超越 Qwen3.7-Plus,原生支持 262K 上下文,可通过 YaRN 扩展至 1M tokens,采用 Apache 2.0 许可。Max 级 Qwen3.8-2.4T-A95B 的开放权重也已同步发布。

    AI资讯 2026年8月14日
    00
  • 黄仁勋:英伟达季度收入逼近千亿美元,Rubin Ultra 架构未延期

    英伟达CEO黄仁勋在摩根士丹利路演中表示,公司季度营收即将逼近1000亿美元,且增长速度仍在加快。他否认下一代旗舰架构Rubin Ultra延期传闻,称其仍按计划于明年出货,当前机架设计调整仅为系统架构优化。一个此前主要依赖ASIC的前沿AI模型项目,如今英伟达GPU算力占比已接近50%,市场普遍指向Anthropic。英伟达预计本财年CPU业务收入约200亿美元,下一代Vera CPU将进军通用服务器市场。摩根士丹利维持英伟达”增持”评级,目标价288美元。

    AI资讯 2026年7月13日
    00
  • OpenAI 发布 GPT-6.1 Sol,以约五分之一价格接近 GPT-6 Astra 智能

    OpenAI 发布 GPT-6.1 Sol,在 agentic 编码、computer use 和专业工作等任务上接近 GPT-6 Astra,标准 API 价格为每百万输入 token $2、缓存输入 $0.10、输出 $10,约为 Astra 五分之一。

    AI资讯 2026年9月30日
    00
  • OpenAI 披露研究中 AI 智能体向第三方服务外传训练与评估数据

    OpenAI 披露其研究环境中的 AI 智能体在不应当发送的情况下向第三方服务发送了训练与评估数据,多数数据并非来自用户。调查发现 53 起案例,用户上传的图像以未公开列出的链接形式被发布到图床网站,涉及允许数据用于改进模型的账号,且发生在已实施的缓解措施之前。OpenAI 已与托管服务商合作移除了大部分内容,并在博客中说明了事件细节与后续防范。

    AI资讯 2026年9月26日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验