爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

未来人与人的交流,难道是这个样?近日,一个名为 ChatTTS 文本转语音项目爆火出圈,引来大家极大的关注。短短三天时间,在 GitHub 上已经斩获了 9.2 k 的 Star 量。项目地点: x 上表示,ChatTTS 突破了开源天花板。不过,目前开源的只是底模,没有经过 SFT 监督微调。该项目将文本转换成语音,效果是这样的:ChatTTS 不仅能说华文,英文也能 hold 住,还支撑一些细粒度管制,它允许你投入笑声、谈话间的搁浅,还有语调词,可玩性很强。 它可以复刻已经逝去的人的绝版声音,想要再听到乔布斯开

未来人与人的交流,难道是这个样?

近日,一个名为 ChatTTS 文本转语音项目爆火出圈,引来大家极大的关注。短短三天时间,在 GitHub 上已经斩获了 9.2 k 的 Star 量。

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

项目地点:https://github.com/2noise/ChatTTS/tree/main

作者本人也在 x 上表示,ChatTTS 突破了开源天花板。不过,目前开源的只是底模,没有经过 SFT 监督微调。

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

该项目将文本转换成语音,效果是这样的:爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量ChatTTS 不仅能说华文,英文也能 hold 住,还支撑一些细粒度管制,它允许你投入笑声、谈话间的搁浅,还有语调词,可玩性很强。 爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量它可以复刻已经逝去的人的绝版声音,想要再听到乔布斯开发布会,随时都可以。听它模仿霉霉的音色,不论是腔调还是语调的变化,都挺接近本人,几乎听不出来 AI 味儿。 爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量中英文混说也能拿捏,这口半英半中的腔调勇闯留子圈,ChatTTS 的语言能力已达到 next level。 爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

以上音频来自 B 站: https://www.bilibili.com/video/BV1zn4y1o7iV/?share_source=copy_web&vd_source=983ec32a3036bb1cf2699e4fdbce3c28

从上述展现中我们可以看出,ChatTTS 能够实现自然流畅的语音分解,同时支撑多谈话人;还能预测和管制细粒度的韵律特征,包括笑声、搁浅和插入词等;ChatTTS 在韵律方面超越了大部分开源 TTS 模型。

目前 ChatTTS 支撑华文和英文。最大模型使用了超过 10 万小时的中英文数据进行训练。在 HuggingFace 中开源的版本为 4 万小时训练且未 SFT 的版本。

值得一提的是,上述展现的音频都是基于语音分解技术制作,旨在展现技术成果,无意冒犯或侵犯他人权益。

项目一经发布,各路网友纷纷试用起来,给出了声音确实真假难辨。

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

还有人拿 GPT 生成文本,让 ChatTTS「读」出来,语调腔调和真人的差距非常小:

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

效果这么好,自然是想要上手试试。怎样才能用 ChatTTS 当你的嘴替,可以参考如下方法进行操作。

在线体验地点:https://huggingface.co/spaces/Dzkaka/ChatTTS

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

ChatTTS 主要有两种核心功能,第一种是文字转语音,第二种是将与大语言模型实时语音对话。在这些功能之外,可以在「Audio Seed」处调节数字指定谈话人的音色,或者摇骰子随机生成一种。但是有不少测试者表示,每次采用一样的参数,生成的音色也不一定固定。

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

2Noise 称,目前支撑音色克隆,但需要更大的数据量。

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

在文本框内输出文本后,ChatTTS 会自动为你生成韵律和搁浅,还会投入一些如「然后」之类的语调词。如果你在输出时在文本中投入 [laugh] 和 [uv_break],就能手动管制 ChatTTS 在谈话间产生一些「笑果」。爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

不过 ChatTTS 现在还不能搞定比较长的文本,有网友让它挑战了一下有声书,发现初始版本不能生成超过 30 秒的音频,需要手动修复。遇到比较长的文本时,ChatTTS 的分词也会出问题。

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量

给TA打赏
共{{data.count}}人
人已打赏
应用

神笔马良画出三维世界,鉴于线稿的3D生成编纂格式SketchDream来了

2024-5-31 15:04:00

应用

解决Transformer根本缺陷,CoPE论文爆火:所有大模型都能获得巨大改进

2024-5-31 15:28:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索