据介绍，豆包实时语音大模型实现了语音理解和生成一体化，实现了端到端语音对话。相比传统级联模式在语音表现力、控制力、情绪承接方面表现惊艳，并具备低时延、对话中可随时打断等特性，“中文对话断崖式领先，情商智商双双在线”。
同时，豆包 App 更新实时语音通话功能，面向所有用户开放。该功能基于最新豆包实时语音大模型。官方表示，豆包中文场景的对话能力更新后在语音真实感和“喜怒哀乐”的情绪表现上近乎达到“人机难辨”的 AI 交互效果，可以模仿不同声线，并且在“逻辑思考”和“情绪感知”上有明显提升。
据了解，豆包全新实时语音通话功能可以根据场景自动对节奏、儿化音、音量、气音等细节精准把控，还可跟用户“说”悄悄话。其掌握了部分方言与英语对话、多角色模仿，甚至部分歌曲演唱能力。
豆包的全新语音能力基于端到端框架研发，其使用原生方法深度融合语音与文本模态进行统一建模。最终可实现从多模态输入直接到多模态输出的效果，从而达到官方所述“赋予 AI 语音对话‘灵魂’”的效果。
