Pika推出音画同步新功能一天后,翻车视频来了

Pika 的音效新功能「Sound Effects」,有大大的惊喜,也有小小的「惊吓」。Sora 的出现让文生视频模型及应用火了起来。不过,此类模型生成的视频大多数都是无声的。因此,人们开始探索为 AI 生成的视频「配音」。这一领域的代表有 AI 语音克隆初创公司 ElevenLab,此前该公司为 Sora 的演示视频生成配音,音效与视频画面几乎没有违和感。现在,曾经引爆了 AI 圈的视频生成初创公司 Pika 终于有了新动作 —— 推出 Sound Effects,可以为 Pika 生成的视频无缝加音效了。Pik

Pika 的音效新功能「Sound Effects」,有大大的惊喜,也有小小的「惊吓」。

Sora 的出现让文生视频模型及应用火了起来。不过,此类模型生成的视频大多数都是无声的。因此,人们开始探索为 AI 生成的视频「配音」。

这一领域的代表有 AI 语音克隆初创公司 ElevenLab,此前该公司为 Sora 的演示视频生成配音,音效与视频画面几乎没有违和感。Pika推出音画同步新功能一天后,翻车视频来了

现在,曾经引爆了 AI 圈的视频生成初创公司 Pika 终于有了新动作 —— 推出 Sound Effects,可以为 Pika 生成的视频无缝加音效了。

Pika 生成音效的方式有两种:一种是给出 prompt,描述你想要听到的声音;一种是直接根据视频内容自动生成声音。

图片

至于音效与视频内容的匹配效果如何?我们先一睹为快。Pika推出音画同步新功能一天后,翻车视频来了

不过,Pika 的 Sound Effects 功能只对超级合作者(Super Collaborator)和 Pro 用户开放测试。普通用户只能再等等了。

图片

目前,Pika 官方放出了许多 Demo。Pika推出音画同步新功能一天后,翻车视频来了

体验地址:https://pika.art/

例如滋滋啦啦的烤肉声音,还能隐约看到烤肉时冒出的烟雾,高清的画面配上逼真的音效,让人顿时感觉焦酥,鲜咸,麻辣涌入舌尖:Pika推出音画同步新功能一天后,翻车视频来了

如果你想换个声音,也没问题,点击视频下方的 Redo 按钮,在出现的对话框中,输入你想要的音频描述就可以了:

图片

小青蛙趴在荷叶上呱呱的叫,如果你仔细聆听,还能听见远处的蝉鸣声(不过生成的视频看起来缺陷很明显,例如荷叶是红色的,青蛙腹部有腿):Pika推出音画同步新功能一天后,翻车视频来了烟花在空中绽放,绽放瞬间发出响亮的爆竹声,点卡的很准: Pika推出音画同步新功能一天后,翻车视频来了

以上只是官方示例,生成的音频效果到底如何,我们还得看看第一波体验用户的真实感受。

第一批试用体验出炉:有惊喜,也有翻车

在 Pika 推出 Sound Effects 功能之后,第一批试用用户已经晒出了他们加上音效的 AI 视频。

比如用户 @TomLikesRobots 生成的雨中人物视频,他表示音效似乎与视频非常匹配,增添了很多氛围感。

图片Pika推出音画同步新功能一天后,翻车视频来了比如用户 @RetropunkAI 生成的兔子大片,生成的音效非常有趣。 Pika推出音画同步新功能一天后,翻车视频来了

比如用户 @AiFreak_tool,为生成的视频添加了不同的音效。

图片Pika推出音画同步新功能一天后,翻车视频来了

当然,Sound Effects 生成的音效并不总是能够契合视频主题和画面,比如下面这个示例。

图片Pika推出音画同步新功能一天后,翻车视频来了

                            图源:@TomLikesRobots

还有用户 @DavidmComfort,他表示生成音效有时会驴头不对马嘴,但毕竟 beta 阶段,情有可原。

图片Pika推出音画同步新功能一天后,翻车视频来了

虽然偶有翻车,但更多人还是期待 Pika 可以赶紧开放 API。

图片

相关资讯

一句话搞定爆炸音效,ElevenLabs 推出新 AI 工具

ElevenLabs 此前已推出利用人工智能生成人类声音和音乐的工具,现在他们更进一步,推出了可以为播客、电影或游戏创作音效的工具。ElevenLabs 的名为“Sound Effects”的新工具可以根据用户提供的文本描述生成最长 22 秒的音效,并与公司原有的语音和音乐平台结合使用。用户每次使用“Sound Effects”后,可以获得至少四个可下载的音频片段供选择。 ElevenLabs 与素材平台 Shutterstock 合作,利用其庞大的音频素材库训练了生成式模型。据悉,Shutterstock 的内容

保姆级教程!AI视频生成神器 Pika Labs 使用指南

今天为大家带来最近爆火的 AI 生成式视频神器 Pika labs 的使用教程。 关于Pika 的介绍:背景简介 Pika 是什么?用生成式 AI 技术能够生成和编辑 3D 动画、动漫、卡通和电影等各种风格的视频。也是 Runway Gen-2 的最强竞品。 那么,今天就带来 Pika Labs 的完整使用指南(目前社区为试用版,最多可以生成三秒),大家可以先行体验,后续排队拿到 1.0 体验资格后会继续为大家带来更新。 一、注册&如何使用 1. 注册 discord 账号 相信大概部分用过 MJ 的小伙伴已经有账

文生视频平台 Pika 喜提功能升级:视频有声音了,可生成各种背景音效

文生视频平台 Pika 今日凌晨通过 X 平台官宣新功能:视频可以集成 AI 生成的音效了。用户现可在 Pika 生成的视频中无缝生成、整合声音,可以通过提示词来描述想要的声音,或者直接让 Pika 根据视频内容自动生成声音。“如果您觉得它很酷,那是因为它的确很酷。抱歉,我们之前静音了!”与此同时,官方放出了一段预告片和几个 DEMO,预告片中的车辆鸣笛声、刀剑呼啸声均与视频内容匹配,而在 DEMO 演示中,烤肉的滋滋声和海底的水声也可以说与画面主题非常吻合。 据介绍,该功能目前仅面向“超级合作者”和专业用