让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

各人好,这里是和你们一起探索 AI 的花生~ 这几天互联网上出现的一类视频引起了各人的广泛关注和热烈讨论,视频的特点是可以“让人物说外语”,但形式并不是我们常见的视频配音,而是真的像他们自己就会说外语一样,口音毫无 AI 感,人物的嘴型也是普遍的。 比如下面这段“郭德纲用英语说相声”的视频,如果不说,几乎看不出来这是 AI 处理的,因为视频中人物的嘴型与说出的英语是普遍的,发音很真实,没有 AI 的生硬感,甚至语调音色都与郭德纲说华文时的语调音色是一样的,这些细节上的精准匹配使视频显得非常自然真实,让人不得不感叹

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

各人好,这里是和你们一起探索 AI 的花生~

这几天互联网上出现的一类视频引起了各人的广泛关注和热烈讨论,视频的特点是可以“让人物说外语”,但形式并不是我们常见的视频配音,而是真的像他们自己就会说外语一样,口音毫无 AI 感,人物的嘴型也是普遍的。

比如下面这段“郭德纲用英语说相声”的视频,如果不说,几乎看不出来这是 AI 处理的,因为视频中人物的嘴型与说出的英语是普遍的,发音很真实,没有 AI 的生硬感,甚至语调音色都与郭德纲说华文时的语调音色是一样的,这些细节上的精准匹配使视频显得非常自然真实,让人不得不感叹 AI 的强大。

当视频在手机上无法加载,可前往PC查看。

视频来源:微博@创作者 DC

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

其实在上面的视频之前,网上已经有一段同类视频引起过的不小的关注。视频的名称是《这才是没有译制片腔调的翻译》,由一位英语博主 @johnhuu 发布,其中展示了多段中英翻译片段,比如泰勒·斯威夫特和特朗普讲华文、蔡明老师说英语等。视频中的人物发音清晰,语调自然,音色与本人相似,甚至嘴型也做到了普遍,完全不同于之前的“译制腔”视频,所以一发布就引起了各人好奇和关注,光在 B 站上就有 200 多万播放。

当视频在手机上无法加载,可前往PC查看。

据原作者 @johnhuu 分享,想达到这种自然的翻译效验需要同时做到 3 点:一是文本翻译要地道,二是要克隆人物说话的声音,三是做到嘴型普遍。这三点目前都有相关的 AI 技术可以实行,而且已经有一款东西可以一次性搞定这三个步骤,它就是 HeyGen。

了解 HeyGen:

HeyGen 之前我已经为各人介绍过了,它是一款数字人视频生成神器 ,拥有丰富的数字人形象,通过与 AI 配音和自定义模版等功能配合,帮助用户快速制作一段视频,还能做到嘴型普遍,应用范围涵盖广告、电商、新闻、教育、科普等多个领域,是目前最受关注的数字人制作东西之一。下面是我用 HeyGen 生成的一个短视频,各人应该在抖音或 YouTube 上也看到过类似的数字人形象。

HeyGen 目前已经在公开测试一项名为 Video Translate(视频翻译)的新功能,将内容翻译、语音克隆和换嘴型 3 种功能集成到一起,来实行视频的一键无痕翻译,各人在文章开头看到的“郭德纲讲英文”就是由它实行的。Video Translate 支持华文、英语、法语、意大利语、德语、日语、韩语等十多种语言,是目前最便捷高效的视频无痕翻译解决方案。

Video Translate 网址直达: https://labs.heygen.com/video-translate

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

官方演示视频:

HeyGen 的 Video Translate 功能的确非常强大,但需要付费使用,价格也不便宜,平均下来翻译一分钟的视频需要 14 元人民币。它的翻译效验有时并不理想,比如在前面郭德纲的视频中,将华文的“二十里”翻译成“20 miles”,“法台”翻译成“French table”,都是不准确的。但因为视频上传后是一次性完成的,不能修改,所以也没有办法。

如果想做到翻译效验的精致控制,就需要将不同的步骤分开进行,而且已经有网友分享了对应的开源东西,即用 Whisper 实行语音转文字,ChatGPT 准确翻译文字内容,so-vits-svc 进行声音克隆生成音频,最后再用 GeneFace++ 实行对嘴型。其中 ChatGPT 各人应该非常熟悉了,就不做赘述,直接给各人介绍一下另外三款开源东西。

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

① Whisper

Whisper 的 Github 主页: https://github.com/openai/whisper

Buzz 的 Github 主页: https://github.com/chidiwilliams/buzz

Whisper-webui 项目地址: https://huggingface.co/spaces/aadnk/whisper-webui

安装教程: https://www.bilibili.com/read/cv23995720/

Whisper 是 ChatGPT 母公司 OpenAI 研发的一款通用语音识别模型,可以自动识别多种语言并进行文字转录,它对英语语音的识别准确率尤其高,接近人类水平。

Whisper 目前已经开源,支持本地部署收费使用。它有两个衍生项目 Buzz(GUI 版 whisper)和 Whisper-webui(WebUI 版 whisper),这两款东西拥有便捷的用户操作界面,所以比本体更适合普通用户使用。各人可以按 Github 主页或我提供的教程安装使用,此外也可以使用其他的视频转文字软件,比如剪映专业版。

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

② so-vits-svc

Github 主页:svc-develop-team/so-vits-svc: SoftVC VITS Singing Voice Conversion (github.com)

整合包及教程: https://www.bilibili.com/video/BV1H24y187Ko/?spm_id_from=333.337.search-card.all.click&vd_source=9ce7566ddcd3dd5a0aa55ffbfed25fde

So-vits-svc 是一款收费 AI 语音转换软件,它可以通过学习一个人的声音,将另一段音频的声音替换为这个人的音色,之前网上爆火的“AI 孙燕姿”就是通过这个东西实行的。so-vits-svc 是开源软件,支持本地部署,但是步骤非常复杂,使用门槛较高;不过 B 站上有大神分享了整合包及相关教程,感兴趣的小伙伴可以自行了解。

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

相关推荐:

③ GeneFace++

GeneFace++ 项目主页: https://genefaceplusplus.github.io/

GeneFace 的 Github 主页: https://github.com/yerfor/GeneFace

GeneFace++ 是一项根据实时音频生成三维说话人脸的技术,它生成的视频质量非常高,可以实行唇形同步,让数字人说话变得更加逼真。下面是官方发布的一段演示视频,对比了目前几款主流对嘴型技术的实行效验,可以看出 GeneFace++ 的效验最清晰稳定的。不过 GeneFace++ 的代码还没发布,感兴趣的话可以先去看看前一个版本 GeneFace 的 Github 主页。

当视频在手机上无法加载,可前往PC查看。

视频中第一个提到的技术 Wav2lip 虽然效验不算特别突出,但也是目前比较不错的收费换嘴型解决方案。它已经开源,可以部署到本地(网上有相关教程);Github 上还有一个它的 Stable Diffusion WebUI 插件 sd-wav2lip-uhq,让我们可以直接在 WebUI 中实行换嘴型,对普通用户更友好。

Wav2lip 的相关链接就在下方,感兴趣的话可以自己尝试一下。如果你想学习 Stable Diffusion WebUI,欢迎了解我最新制作的《AI 绘画入门完全指南》,我会带你了解 SD 的生态体系,系统全面地讲解 WebUI 的各项功能,并分享相关的模型插件资源包和效率东西,帮你快速上手这款 AI 绘画神器。

Wav2lip 项目主页:Interactive Wav2Lip Demo (iiit.ac.in)

Wav2lip 的 Github 主页: https://github.com/Rudrabha/Wav2Lip

Wav2lip 的 SD 插件 : https://github.com/numz/sd-wav2lip-uhq

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

Wav2lip 的作者还开发了一个专门的实时视频对嘴型服务平台 Sync.labs,新用户可以收费体验 5 分钟的视频转换服务,如果你想自己收费制作一个无痕翻译视频,它是一个不错的选择。

Sync.labs 主页: https://synclabs.so/

使用指南:Introduction – Sync Labs Docs – Nextra

让郭德纲说英语,霉霉讲华文,AI是如何做到视频无痕翻译的?

给TA打赏
共{{data.count}}人
人已打赏
应用

第四波!2023年10月精选实用设计对象合集

2023-10-31 8:37:07

应用

苹果M3系列登场,本能翻倍,M1、M2已成时代眼泪

2023-10-31 14:51:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索