微软发布新工具,检测和纠正 AI 幻觉内容

科技媒体 The Decoder 昨日(9 月 24 日)发布博文,报道称微软以预览版的形式,在 Azure AI Content Safety 中推出 Groundedness Detection,用于“纠正” AI 幻觉。AI 幻觉在人工智能领域中,幻觉是由人工智能生成的一种回应,它含有貌似事实的虚假或误导性资讯。该术语源自幻觉的心理学概念,因为它们具有相似的特征。人工智能幻觉的危险之处之一是模型的输出看起来是正确的,而它实际上是错误的。Groundedness Detection微软的 Groundednes

科技媒体 The Decoder 昨日(9 月 24 日)发布博文,报道称微软以预览版的形式,在 Azure AI Content Safety 中推出 Groundedness Detection,用于“纠正” AI 幻觉。

AI 幻觉

在人工智能领域中,幻觉是由人工智能生成的一种回应,它含有貌似事实的虚假或误导性资讯。

该术语源自幻觉的心理学概念,因为它们具有相似的特征。人工智能幻觉的危险之处之一是模型的输出看起来是正确的,而它实际上是错误的。

Groundedness Detection

微软的 Groundedness Detection 类似于谷歌在 Vertex AI 中推出的 Google Search Grounding,主要对比 AI 输出内容和源文件,从而识别没有证据或者幻觉内容。

微软强调,虽然该工具提高了人工智能输出的可靠性,但并不能保证完全准确,只是能提高生成内容与源材料之间的一致性。

微软发布新工具,检测和纠正 AI 幻觉内容

当系统检测到一个支持不足的句子时,就会触发一个新的请求,要求一个较小的人工智能模型进行修正,该模型会根据基础文档对句子进行评估。

微软发布新工具,检测和纠正 AI 幻觉内容

微软发布新工具,检测和纠正 AI 幻觉内容

如果一个句子不包含基础文档中的相关信息,它就会被完全过滤掉。对于包含一些相关内容的句子,模型会对其进行改写,匹配源材料。

AI在线附上官方介绍视频如下:

相关资讯

中文语法纠错全国大赛获奖分享:基于多轮机制的中文语法纠错

分享了 在CCL汉语学习者中文语法纠错任务赛道二的亚军方案,重点介绍“基于多轮机制的中文语法纠错任务”。

FDA基于DL的自然语言处理方法,识别定向药代动力学药物相互作用

编辑 | 萝卜皮在药物开发过程中,收集有关药物(对象)由于与另一种药物(沉淀剂)的药代动力学(PK)药物相互作用(DDI)而导致的临床暴露变化的信息至关重要。虽然已经发布了许多用于 DDI 的自然语言处理 (NLP) 方法,但大多数方法旨在评估文本中是否存在(以及何种)DDI 关系,而不识别 DDI 的方向(对象与沉淀药物)。在这里,美国食品药品监督管理局(Food and Drug Administration,FDA)的研究人员提出了一种从文献或药物标签中自动识别 PK DDI 方向性的方法。该团队重新注释了文

大模型「幻觉」全无?图神经网络成破解核心,精准预测因果消除「幻觉」

【新智元导读】Alembic 首次推出用于企业数据分析和决策支持的无「幻觉」人工智能。原来大模型的「幻觉」,真的可以完全消除!近日,AI 初创公司 Alembic 首次宣布,一种全新 AI 系统完全解决了 LLM 虚假信息生成问题。也就是说,饱受诟病的 LLM 幻觉,被彻底攻破了。联创兼首席执行官 Tomás Puig 在接受 Venture Beat 独家采访时透露,「取得这一关键突破在于,AI 能够在海量企业数据集中,识别随时间变化的因果关系,而不仅仅是相关性」。他接着表示,我们基本上让生成式 AI 免于产生幻