金科汤姆猫投资的西湖心辰于今年 8 月推出心辰 Lingo 语音大模型,是国内首个端到端语音大模型,已于今天(8 月 24 日)开启内测预约。
在 8 月 21 日发布的公告中,官方介绍称相比较传统 TTS,端到端语音大模型则是一种更为全面的技术,它不仅可以语音识别,还集成了自然语言处理、意图识别、对话管理以及语音合成等多个环节,实现了从语音输入到语音反馈的完整交互过程,极大地丰富了人机交互的深度和广度。
AI在线援引官方新闻稿,心辰 Lingo 语音模型是国内首个能力追齐 GPT-4o 语音能力的模型,技术能力上具备以下三个显著特点:
原生的语音理解:作为端到端模型,心辰 Lingo 不仅能够识别语音中的文字信息,还能精确捕捉其他重要特征,如情感、语气、音调,甚至环境音,帮助模型更全面地理解语音内容,从而提供更加自然和生动的交互体验。
多种语音风格表达:心辰 Lingo 可以根据上下文和用户指令,自适应调整语音的速度、高低、噪声强度,并能够生成对话、歌唱、相声等多种风格的语音响应,有效提升了模型在不同应用场景下的灵活性和适应性。
语音模态超级压缩:心辰 Lingo 采用具有数百倍压缩率的语音编解码器,能够将语音压缩至极短的长度,在显著降低计算和存储成本的同时帮助模型生成高质量语音内容。