OpenAI 语音转写工具 Whisper 被曝存在重大缺陷:会凭空生成大段虚假内容

当地时间 27 日,据美联社报道,超过十位软件工程师、开发人员和学术研究人员称,OpenAI 的语音转写工具 Whisper 存在一个重大缺陷:有时会凭空生成大段甚至整句虚假内容。 这些专家指出,这些生成的文本(AI在线注:业内通常称为“AI 幻觉”)可能涉及种族言论、暴力措辞,甚至杜撰的医疗建议。 专家们认为,这一问题尤其令人担忧,因为 Whisper 已被广泛应用于全球多个行业,包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。

当地时间 27 日,据美联社报道,超过十位软件工程师、开发人员和学术研究人员称,OpenAI 的语音转写工具 Whisper 存在一个重大缺陷:有时会凭空生成大段甚至整句虚假内容

这些专家指出,这些生成的文本(AI在线注:业内通常称为“AI 幻觉”)可能涉及种族言论、暴力措辞,甚至杜撰的医疗建议

图片 5

专家们认为,这一问题尤其令人担忧,因为 Whisper 已被广泛应用于全球多个行业,包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。

更具风险的是,尽管 OpenAI 已提醒不应在“高风险领域”使用该工具,但一些医疗机构仍在匆忙采用基于 Whisper 的工具来记录医生与患者的咨询记录。

报道称,研究人员和工程师在工作中经常遇到 Whisper 的“幻觉”现象,问题的整体规模尚不清楚。例如,密歇根大学一位研究员在研究公共会议时发现,在尝试改进模型前,他所检查的十份音频转录中,八份含有虚构内容

一位机器学习工程师透露,在最初分析的超过 100 小时 Whisper 转录中,他发现大约一半的内容存在“幻觉”现象。一位开发人员进一步指出,在他用 Whisper 生成的 26000 份转录中,几乎每一份都带有虚构内容。

即便是音质良好的简短音频样本,也未能幸免于这些问题。计算机科学家们的最新研究表明,他们审查的 13000 多段清晰音频片段中,有 187 段出现了“幻觉”现象。

研究人员认为,这一趋势意味着,在数百万条录音中将可能出现数以万计的错误转录。

OpenAI 的发言人表示,该公司持续研究如何减少幻觉,并且感谢研究者的发现,将会在模型更新中采纳反馈。

相关资讯

晚上就应该睡觉?新的机器学习技术探索昼夜节律

编辑 | 雪松昼夜节律,如睡眠-觉醒周期,是大多数生物与生俱来的,对地球上的生命至关重要。昼夜时钟在 24 小时日夜周期中协调生物的各项生理变化,会间接影响我们人类的体能水平、健康程度、生存能力。同样,将新陈代谢与日出落日同步等情况也存在于植物中,准确的生物钟有助于调节开花。了解昼夜节律,于植物而言,有助于提高植物的生长和产量;于人类而言,则有可能揭示出治疗疾病的新途径。IBM欧洲研究所与厄尔汉姆研究所的合作团队,描述了一系列基于人工智能(AI)和机器学习(ML)的方法。这些方法可以进行更具成本效益的分析并深入了解

两天star量破千:OpenAI的Whisper被蒸馏后,语音识别数倍加速

模型小了,幻觉还减轻了。前段时间,「霉霉大秀中文」的视频在各个社交媒体走红,随后又出现了「郭德纲大秀英语」等类似视频。这些视频很多都出自一个名叫「HeyGen」的 AI 应用之手。不过,从 HeyGen 现在的火爆程度来看,想用它制作类似视频可能要排很久。好在,这并不是唯一的制作方法。懂技术的小伙伴也可以寻找其他替代方案,比如语音转文字模型 Whisper、文字翻译 GPT、声音克隆 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace dengdeng。其中,这个语音转文字的 Whis

OpenAI上线新功能太强了,服务器瞬间被挤爆

让 ChatGPT 服务器宕机,你参与了吗?OpenAI 开发者日上新功能太火爆,服务器都挤爆了。太平洋时间 11 月 8 日上午 6 点左右开始,ChatGPT 服务器宕机超过 90 分钟,用户访问会收到「ChatGPT 目前已满载(ChatGPT is at capacity right now)」的消息。随后,OpenAI 接连发布两次「服务器中断」警告 —— 一次部分中断、一次全线中断,并称正在调查宕机原因,进行修复和监控。最新状态显示:「ChatGPT 和 API 仍然会出现周期性中断。」OpenAI 表