OpenAI 升级 Whisper 语音转录 AI 模型,不牺牲质量速度快 8 倍

OpenAI 在 10 月 1 日举办的 DevDay 活动日中,宣布推出了 Whisper large-v3-turbo 语音转录模型,共有 8.09 亿参数,在质量几乎没有下降的情况下,速度比 large-v3 快 8 倍。Whisper large-v3-turbo 语音转录模型是 large-v3 的优化版本,并且只有 4 层解码器层(Decoder Layers),作为对比 large-v3 共有 32 层。Whisper large-v3-turbo 语音转录模型共有 8.09 亿参数,比 7.69 亿

OpenAI 在 10 月 1 日举办的 DevDay 活动日中,宣布推出了 Whisper large-v3-turbo 语音转录模型,共有 8.09 亿参数,在质量几乎没有下降的情况下,速度比 large-v3 快 8 倍

Whisper large-v3-turbo 语音转录模型是 large-v3 的优化版本,并且只有 4 层解码器层(Decoder Layers),作为对比 large-v3 共有 32 层。

Whisper large-v3-turbo 语音转录模型共有 8.09 亿参数,比 7.69 亿参数的 medium 模型稍大,不过比 15.5 亿参数的 large 模型小很多。

OpenAI 表示 Whisper large-v3-turbo 的速度比 large 模型快 8 倍,并且所需的 VRAM 为 6GB,而 large 模型需要 10GB。

OpenAI 升级 Whisper 语音转录 AI 模型,不牺牲质量速度快 8 倍

OpenAI 升级 Whisper 语音转录 AI 模型,不牺牲质量速度快 8 倍

OpenAI 升级 Whisper 语音转录 AI 模型,不牺牲质量速度快 8 倍

OpenAI 升级 Whisper 语音转录 AI 模型,不牺牲质量速度快 8 倍

Whisper large-v3-turbo 语音转录模型大小为 1.6GB,OpenAI 继续根据 MIT 许可证提供 Whisper(包括代码和模型权重)。

AI在线援引 Awni Hannun 测试结果,在 M2 Ultra 上,将 12 分钟的内容转录为 14 秒。

OpenAI 升级 Whisper 语音转录 AI 模型,不牺牲质量速度快 8 倍

GitHub:https://github.com/openai/whisper/discussions/2363

模型下载:https://huggingface.co/openai/whisper-large-v3-turbo

在线体验:https://huggingface.co/spaces/hf-audio/whisper-large-v3-turbo

相关资讯

OpenAI上线新功能太强了,服务器瞬间被挤爆

让 ChatGPT 服务器宕机,你参与了吗?OpenAI 开发者日上新功能太火爆,服务器都挤爆了。太平洋时间 11 月 8 日上午 6 点左右开始,ChatGPT 服务器宕机超过 90 分钟,用户访问会收到「ChatGPT 目前已满载(ChatGPT is at capacity right now)」的消息。随后,OpenAI 接连发布两次「服务器中断」警告 —— 一次部分中断、一次全线中断,并称正在调查宕机原因,进行修复和监控。最新状态显示:「ChatGPT 和 API 仍然会出现周期性中断。」OpenAI 表

OpenAI官方下场修复GPT-4变懒,上新多个模型、还大降价

今天,OpenAI 一口气宣布了 5 个新模型,包括两个文本嵌入模型、升级的 GPT-4 Turbo 预览版和 GPT-3.5 Turbo、一个审核模型。不知大家是否还记得,去年年底 GPT-4 开始变「懒」的事实。比如在高峰时段使用 GPT-4 或 ChatGPT API 时,响应会变得非常缓慢且敷衍,有时它会拒绝回答用户提出的问题,甚至还会单方面中断对话。 这种情况对于码农来说,更是深有体会,有人抱怨道「让 ChatGPT 扩展一些代码,它竟然让我自己去写。」原本想借助 ChatGPT 帮助自己编写代码,现在好

两天star量破千:OpenAI的Whisper被蒸馏后,语音识别数倍加速

模型小了,幻觉还减轻了。前段时间,「霉霉大秀中文」的视频在各个社交媒体走红,随后又出现了「郭德纲大秀英语」等类似视频。这些视频很多都出自一个名叫「HeyGen」的 AI 应用之手。不过,从 HeyGen 现在的火爆程度来看,想用它制作类似视频可能要排很久。好在,这并不是唯一的制作方法。懂技术的小伙伴也可以寻找其他替代方案,比如语音转文字模型 Whisper、文字翻译 GPT、声音克隆 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace dengdeng。其中,这个语音转文字的 Whis