英国数字健康公司 Numan 复盘其 AI 健康教练 Nu 的评测体系建设,核心结论是稀缺资产不是提示词而是评测标准。单轮静态数据集和脚本化多轮对话都难以覆盖真实会话,Nu 改为按类别打分的主题数据集、以更廉价模型扮演患者的模拟对话层,并让安全回归自动阻断发布。
信息来源:LangChain:Blog(RSS)
英国数字健康公司 Numan 复盘其 AI 健康教练 Nu 的评测体系建设,核心结论是稀缺资产不是提示词而是评测标准。单轮静态数据集和脚本化多轮对话都难以覆盖真实会话,Nu 改为按类别打分的主题数据集、以更廉价模型扮演患者的模拟对话层,并让安全回归自动阻断发布。
英国数字健康公司 Numan 复盘其 AI 健康教练 Nu 的评测体系建设,核心结论是稀缺资产不是提示词而是评测标准。单轮静态数据集和脚本化多轮对话都难以覆盖真实会话,Nu 改为按类别打分的主题数据集、以更廉价模型扮演患者的模拟对话层,并让安全回归自动阻断发布。
信息来源:LangChain:Blog(RSS)