研究发现自然语言自编码器(NLA)的重建分数无法验证逐声明的忠实性,模型可能依赖"私密代码"而非真实依据。作者提出RECAP方法,在目标模型上联合训练线性头以保持指定内容可解码。在Pythia-160M上,独立探针能可靠区分真假声明(AUC 0.96),并在对抗编辑下仍能标记谎言(AUC 0.95)。
信息来源:HuggingFace Daily Papers(社区热门论文)
研究发现自然语言自编码器(NLA)的重建分数无法验证逐声明的忠实性,模型可能依赖”私密代码”而非真实依据。作者提出RECAP方法,在目标模型上联合训练线性头以保持指定内容可解码。在Pythia-160M上,独立探针能可靠区分真假声明(AUC 0.96),并在对抗编辑下仍能标记谎言(AUC 0.95)。
研究发现自然语言自编码器(NLA)的重建分数无法验证逐声明的忠实性,模型可能依赖"私密代码"而非真实依据。作者提出RECAP方法,在目标模型上联合训练线性头以保持指定内容可解码。在Pythia-160M上,独立探针能可靠区分真假声明(AUC 0.96),并在对抗编辑下仍能标记谎言(AUC 0.95)。
信息来源:HuggingFace Daily Papers(社区热门论文)