无论当下 AI 谈天机器人有多么强大，都会或多或少存在一大饱受诟病的行为 —— 以看上去令人信服的方式，向用户提供与究竟不符的回答。简单来说，AI 有时会在回答中“满口跑火车”，甚至“造谣”。图源 Pixabay防止 AI 大模型出现这种行为并非易事，且是一项技术性的挑战。不过据外媒 Marktechpost 报道，google DeepMind 和斯坦福大学似乎找到了某种变通办法。钻研人员推出了一种基于大言语模型的工具 —— 搜刮增强究竟评价器（IT之家注：原名为 Search-Augmented Factuality
无论当下 AI 谈天机器人有多么强大，都会或多或少存在一大饱受诟病的行为 —— 以看上去令人信服的方式，向用户提供与究竟不符的回答。简单来说，AI 有时会在回答中“满口跑火车”，甚至“造谣”。
图源 Pixabay
防止 AI 大模型出现这种行为并非易事，且是一项技术性的挑战。不过据外媒 Marktechpost 报道，google DeepMind 和斯坦福大学似乎找到了某种变通办法。
钻研人员推出了一种基于大言语模型的工具 —— 搜刮增强究竟评价器（IT之家注：原名为 Search-Augmented Factuality Evaluator，简称 SAFE），可对谈天机器人生成的长回覆举行究竟核对。其钻研结果与实验代码、数据集现已公布，点此查看
该零碎可通过四个步骤对谈天机器人生成的回覆举行分析、处理和评价，以验证准确性和真实性：将答案分割成单个待核对内容、对上述内容举行修正、再与google搜刮结果举行比较。随后，该零碎还会检查各个究竟与原始问题的相关性。
为评价其性能，钻研人员创建了包含约 16000 个究竟的数据集 LongFact，并在来自 Claude、Gemini、GPT、PaLM-2 的 13 个大言语模型上测试了该零碎。结果显示，在对 100 个有争议的究竟举行的重点分析中，SAFE 的判定在进一步审查下正确率达到 76% 。与此同时，该框架还具备经济性优势：成本比人工注释便宜 20 多倍。
