小红书语音识别新突破!开源FireRedASR,中文效果新SOTA

AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。 如果您有优秀的工作想要分享,欢迎投稿或者联系报道。

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]

语音识别(ASR,Automatic Speech Recognition)是一种将语音转化为文字的技术,被广泛应用于智能语音交互和多媒体内容理解领域,例如语音助手、语音输入、视频字幕等场景。衡量中文 ASR 性能的主要指标是字错误率(CER,Character Error Rate),该值越低,表示模型的识别效果越好。

近日,小红书 FireRed 团队正式发布并开源了基于大模型的语音识别模型 ——FireRedASR,在语音识别领域带来新突破。在业界广泛采用的中文普通话公开测试集上,FireRedASR 凭借卓越的性能取得了新 SOTA!FireRedASR 在字错误率(CER)这一核心技术指标上,对比此前的 SOTA Seed-ASR,错误率相对降低 8.4%,充分体现了团队在语音识别技术领域的创新能力与技术突破。

图片

  • 论文标题:FireRedASR: Open-Source Industrial-Grade Mandarin Speech Recognition Models from Encoder-Decoder to LLM Integration

  • 论文地址:http://arxiv.org/abs/2501.14350

  • 项目地址:https://github.com/FireRedTeam/FireRedASR

FireRedASR 介绍

FireRedASR 系列模型包含两种核心结构:FireRedASR-LLM 和 FireRedASR-AED,分别针对语音识别的极致精度和高效推理需求量身打造。团队开源了不同规模的模型和推理代码,旨在满足全面覆盖多样化的应用场景。

FireRedASR-LLM 和 FireRedASR-AED 的结构如下图所示: 

  • FireRedASR-LLM(左):结合了文本预训练 LLM 的能力,为极致的 ASR 准确率而生,适用于对准确率要求极高的应用场景。

  • FireRedASR-AED(右下):基于经典的 Attention-based Encoder-Decoder 架构,FireRedASR-AED 通过扩展参数至 1.1B,成功平衡了 ASR 语音识别的高准确率与推理效率。

图片

实验及结果

下图是 FireRedASR 和其他 ASR 大模型的对比,在业界常用的中文普通话公开测试集上,FireRedASR-LLM(8.3B 参数量)取得了最优 CER 3.05%、成为新 SOTA!FireRedASR-AED (1.1B 参数量)紧随其后取得 3.18%,两者均比 Seed-ASR(12+B 参数量)的 3.33% 低、并且参数量更小。FireRedASR 也比 Qwen-Audio、SenseVoice、Whisper、Paraformer 取得了更优的 CER。

图片

(aishell1 表示 AISHELL-1 测试集,aishell2 表示 AISHELL-2 iOS 测试集,ws_net 和 ws_meeting 分别表示 WenetSpeech 的 Internet 和 Meeting 测试集)

FireRedASR 不仅在公开测试集上表现优异,在多种日常场景下,也展现了卓越的语音识别效果。

如下图所示,在由短视频、直播、语音输入和智能助手等多种来源组成的 Speech 测试集上,与业内领先的 ASR 服务提供商(ProviderA)和 Paraformer-Large 相比, FireRedASR-LLM 的 CER 相对降低 23.7%~40.0%,优势十分明显。

值得一提的是,在需要歌词识别能力的场景中,FireRedASR-LLM 也表现出极强的适配能力,CER 实现了 50.2%~66.7% 的相对降低,这一成果进一步拓宽了 FireRedASR 的应用范围,使其不仅能胜任传统语音识别需求,还能在创新性的多媒体场景中大放异彩。

图片

值得一提的是,FireRedASR 在中文方言和英语场景中同样表现不俗。在 KeSpeech(中文方言)和 LibriSpeech(英语)测试集上,FireRedASR 的 CER 显著优于此前的开源 SOTA 模型,使其在支持好普通话 ASR 的前提下,在中文方言和英语上也足够通用,进一步凸显了其鲁棒的语言适配能力。

图片

好奇为什么 FireRedASR 能取得如此好的效果吗?可以参考 FireRed 团队公开的技术报告一探究竟,并且模型和代码已经全部开源(链接见上文)。

FireRed 团队希望通过开源能为语音社区做出贡献,促进 ASR 的应用和端到端语音交互的发展。

相关资讯

小红书开源的语音识别模型FireRedASR,中文识别准确率优越

在语音识别领域,中文识别的技术发展一直备受关注。 近日,小红书的 FireRed 团队发布了一个全新的开源语音识别模型 ——FireRedASR。 这个基于大模型的语音识别系统在多个标准测试集上取得了优异的成绩,标志着中文语音识别技术的一次重大突破。

阿里通义实验室语音团队负责人鄢志杰离职

据tech星球消息,阿里通义实验室语音团队负责人鄢志杰已于 2 月 15 日正式离职,其职级为阿里原P序列体系中的P10 级别。 鄢志杰是智能语音领域专家, 2003 年进入中科大语音实验室攻读博士,师从科大讯飞创始人王仁华教授。 2008 年获博士学位后,他在微软亚洲研究院语音组担任主管研究员至 2015 年,主要研究语音识别、语音合成等领域。

英语印度口音太重不用愁:初创公司 Krisp 推出 AI 转换,一键变为地道美式

Krisp 表示,该功能不会改变说话者的声音,仅调整音素以匹配美式发音。目前,该功能已在企业环境中测试,Beta 版已上线 Krisp 桌面应用,用户可在通话前或通话中随时启用。