各人好，这里是和你们一起探索 AI 的花生~
这几天互联网上出现的一类视频引起了各人的广泛关注和热烈讨论，视频的特点是可以“让人物说外语”，但形式并不是我们常见的视频配音，而是真的像他们自己就会说外语一样，口音毫无 AI 感，人物的嘴型也是普遍的。
比如下面这段“郭德纲用英语说相声”的视频，如果不说，几乎看不出来这是 AI 处理的，因为视频中人物的嘴型与说出的英语是普遍的，发音很真实，没有 AI 的生硬感，甚至语调音色都与郭德纲说华文时的语调音色是一样的，这些细节上的精准匹配使视频显得非常自然真实，让人不得不感叹 AI 的强大。
当视频在手机上无法加载，可前往PC查看。
视频来源：微博@创作者 DC
其实在上面的视频之前，网上已经有一段同类视频引起过的不小的关注。视频的名称是《这才是没有译制片腔调的翻译》，由一位英语博主 @johnhuu 发布，其中展示了多段中英翻译片段，比如泰勒·斯威夫特和特朗普讲华文、蔡明老师说英语等。视频中的人物发音清晰，语调自然，音色与本人相似，甚至嘴型也做到了普遍，完全不同于之前的“译制腔”视频，所以一发布就引起了各人好奇和关注，光在 B 站上就有 200 多万播放。
当视频在手机上无法加载，可前往PC查看。
据原作者 @johnhuu 分享，想达到这种自然的翻译效验需要同时做到 3 点：一是文本翻译要地道，二是要克隆人物说话的声音，三是做到嘴型普遍。这三点目前都有相关的 AI 技术可以实行，而且已经有一款东西可以一次性搞定这三个步骤，它就是 HeyGen。
了解 HeyGen：
HeyGen 之前我已经为各人介绍过了，它是一款数字人视频生成神器 ，拥有丰富的数字人形象，通过与 AI 配音和自定义模版等功能配合，帮助用户快速制作一段视频，还能做到嘴型普遍，应用范围涵盖广告、电商、新闻、教育、科普等多个领域，是目前最受关注的数字人制作东西之一。下面是我用 HeyGen 生成的一个短视频，各人应该在抖音或 YouTube 上也看到过类似的数字人形象。
HeyGen 目前已经在公开测试一项名为 Video Translate（视频翻译）的新功能，将内容翻译、语音克隆和换嘴型 3 种功能集成到一起，来实行视频的一键无痕翻译，各人在文章开头看到的“郭德纲讲英文”就是由它实行的。Video Translate 支持华文、英语、法语、意大利语、德语、日语、韩语等十多种语言，是目前最便捷高效的视频无痕翻译解决方案。
Video Translate 网址直达： https://labs.heygen.com/video-translate
官方演示视频：
HeyGen 的 Video Translate 功能的确非常强大，但需要付费使用，价格也不便宜，平均下来翻译一分钟的视频需要 14 元人民币。它的翻译效验有时并不理想，比如在前面郭德纲的视频中，将华文的“二十里”翻译成“20 miles”，“法台”翻译成“French table”，都是不准确的。但因为视频上传后是一次性完成的，不能修改，所以也没有办法。
如果想做到翻译效验的精致控制，就需要将不同的步骤分开进行，而且已经有网友分享了对应的开源东西，即用 Whisper 实行语音转文字，ChatGPT 准确翻译文字内容，so-vits-svc 进行声音克隆生成音频，最后再用 GeneFace++ 实行对嘴型。其中 ChatGPT 各人应该非常熟悉了，就不做赘述，直接给各人介绍一下另外三款开源东西。
① Whisper
Whisper 的 Github 主页： https://github.com/openai/whisper
Buzz 的 Github 主页： https://github.com/chidiwilliams/buzz
Whisper-webui 项目地址： https://huggingface.co/spaces/aadnk/whisper-webui
安装教程： https://www.bilibili.com/read/cv23995720/
Whisper 是 ChatGPT 母公司 OpenAI 研发的一款通用语音识别模型，可以自动识别多种语言并进行文字转录，它对英语语音的识别准确率尤其高，接近人类水平。
Whisper 目前已经开源，支持本地部署收费使用。它有两个衍生项目 Buzz（GUI 版 whisper）和 Whisper-webui（WebUI 版 whisper），这两款东西拥有便捷的用户操作界面，所以比本体更适合普通用户使用。各人可以按 Github 主页或我提供的教程安装使用，此外也可以使用其他的视频转文字软件，比如剪映专业版。
② so-vits-svc
Github 主页：svc-develop-team/so-vits-svc: SoftVC VITS Singing Voice Conversion (github.com)
整合包及教程： https://www.bilibili.com/video/BV1H24y187Ko/?spm_id_from=333.337.search-card.all.click&vd_source=9ce7566ddcd3dd5a0aa55ffbfed25fde
So-vits-svc 是一款收费 AI 语音转换软件，它可以通过学习一个人的声音，将另一段音频的声音替换为这个人的音色，之前网上爆火的“AI 孙燕姿”就是通过这个东西实行的。so-vits-svc 是开源软件，支持本地部署，但是步骤非常复杂，使用门槛较高；不过 B 站上有大神分享了整合包及相关教程，感兴趣的小伙伴可以自行了解。
相关推荐：
③ GeneFace++
GeneFace++ 项目主页： https://genefaceplusplus.github.io/
GeneFace 的 Github 主页： https://github.com/yerfor/GeneFace
GeneFace++ 是一项根据实时音频生成三维说话人脸的技术，它生成的视频质量非常高，可以实行唇形同步，让数字人说话变得更加逼真。下面是官方发布的一段演示视频，对比了目前几款主流对嘴型技术的实行效验，可以看出 GeneFace++ 的效验最清晰稳定的。不过 GeneFace++ 的代码还没发布，感兴趣的话可以先去看看前一个版本 GeneFace 的 Github 主页。
当视频在手机上无法加载，可前往PC查看。
视频中第一个提到的技术 Wav2lip 虽然效验不算特别突出，但也是目前比较不错的收费换嘴型解决方案。它已经开源，可以部署到本地（网上有相关教程）；Github 上还有一个它的 Stable Diffusion WebUI 插件 sd-wav2lip-uhq，让我们可以直接在 WebUI 中实行换嘴型，对普通用户更友好。
Wav2lip 的相关链接就在下方，感兴趣的话可以自己尝试一下。如果你想学习 Stable Diffusion WebUI，欢迎了解我最新制作的《AI 绘画入门完全指南》，我会带你了解 SD 的生态体系，系统全面地讲解 WebUI 的各项功能，并分享相关的模型插件资源包和效率东西，帮你快速上手这款 AI 绘画神器。
Wav2lip 项目主页：Interactive Wav2Lip Demo (iiit.ac.in)
Wav2lip 的 Github 主页： https://github.com/Rudrabha/Wav2Lip
Wav2lip 的 SD 插件 ： https://github.com/numz/sd-wav2lip-uhq
Wav2lip 的作者还开发了一个专门的实时视频对嘴型服务平台 Sync.labs，新用户可以收费体验 5 分钟的视频转换服务，如果你想自己收费制作一个无痕翻译视频，它是一个不错的选择。
Sync.labs 主页： https://synclabs.so/
使用指南：Introduction – Sync Labs Docs – Nextra
