smevals:用于评测模型、提示词与评测框架的小型评测套件

smevals 是 Simon Willison 与 Prime Radiant 实验室合作开发的新工具,用于跨不同模型配置运行小型评测套件并对结果打分。它支持通过 `uvx smevals run` 对 gpt-5.5、claude-opus-4.6 等模型运行评测,并将运行与打分分离,最终可生成静态 HTML 报告。这是 Willison 在评测方法上的第三次迭代。

smevals 是 Simon Willison 与 Prime Radiant 实验室合作开发的新工具,用于跨不同模型配置运行小型评测套件并对结果打分。它支持通过 `uvx smevals run` 对 gpt-5.5、claude-opus-4.6 等模型运行评测,并将运行与打分分离,最终可生成静态 HTML 报告。这是 Willison 在评测方法上的第三次迭代。

信息来源:Simon Willison 博客

转载请注明出处:https://www.ysthink.site/4499/
赞 (0)
的头像
上一页 2026年8月1日
下一页 2026年8月1日

相关推荐

  • Claude Sonnet 5.5 发布,官方附上开发使用指南

    Claude Sonnet 5.5 发布,官方同步发布构建指南。指南涵盖在 Sonnet 5.5 与 Opus 5.5 之间做选择、从 Sonnet 5 迁移并调整 effort、以及在 Claude Code 中使用,详见 https://claude.dev/blog/building-with-claude-sonnet-5-5/。

    AI资讯 2026年9月29日
    00
  • DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名

    DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名,净提升 +4.87%,每任务中位成本 $0.07,重塑 Pareto 前沿。其成本比第 2 名 Hy4 preview 低 68%、成绩仅差 0.09 个百分点;总榜排名第 12,Confirmed Success 信号排名 第 4(+13.75%)。

    AI资讯 2026年9月15日
    00
  • 美国威胁因知识产权盗窃对中国AI模型实施制裁

    美国财政部长Scott Bessent周二表示,美方将审查中国开源模型是否存在知识产权盗窃行为,若证实将对中国AI公司实施制裁。Bessent称政府支持开源模型但不支持IP盗窃,并称有能力对盗窃美国公司技术的外国模型进行制裁。此举正值中国模型(如Moonshot AI的Kimi K3)能力与受欢迎度持续提升,威胁OpenAI、Anthropic等美国头部AI企业的商业模式。

    AI资讯 2026年7月21日
    00
  • 德国AI协会发布开源模型Soofi S,在英语和德语基准测试中领先

    德国AI协会协调的研究联盟发布开源大语言模型Soofi S 30B-A3B。该模型总参数量316亿,每个token仅激活约32亿参数,采用Mamba-2与标准注意力层混合的MoE架构。模型完全在德国电信慕尼黑工业AI云上训练,训练数据中德语占比从第一阶段的7.2%提升至第二阶段的15.3%。在基准测试中,Soofi S在所有完全开源模型中取得英语和德语综合最高分,超越OLMo 3 32B和Apertus 70B。在HumanEval上得分73.8%,MBPP得分70.2,德语版MBPP得分84.2。上下文窗口支持最高100万token,在4万token长度下,生成吞吐量约为同规模稠密模型的8倍。模型权重已开源。

    AI资讯 2026年7月13日
    00
  • OpenAI and Anthropic in price war as Chinese AI rivals gain ground

    信息来源:Ars Technica:AI(RSS) 访问原始链接

    AI资讯 2026年8月14日
    00

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

自6.2开始主题新增页头通知功能,购买用户可免费升级到最新版体验