机器之能报道
编辑：Sia
简单文字提醒，即可为这些“默片”增添声响后果。
当你被 OpenAI Sora 生成的这些视频震撼时，有没有潜意识里总觉得还缺点啥？
视频链接：https://mp.weixin.qq.com/s/3qHNbqd9d0vE4uw53-YTxw
这些视频和电影诞生时的默片“短视频”是不是差不多？这是 1895 年路易斯·卢米埃尔导演的《火车进站》，固定机位，一镜到底拍摄火车开进站台的场景。
视频链接：https://mp.weixin.qq.com/s/3qHNbqd9d0vE4uw53-YTxw
电影《工厂大门》的后果是这样的：
视频链接：https://mp.weixin.qq.com/s/3qHNbqd9d0vE4uw53-YTxw
不过，即使是默片也并非一点声响也没有。放映时，影院里会有乐团（大到一个乐团、小到一位钢琴师）根据剧情演奏音乐，用音乐渲染情绪，推动情节发展。现在，AI 语音克隆初创公司 ElevenLabs 也率先为一堆 Sora 创立的视频增加了布景声响，相当传神。
ElevenLabs 发布的 AI Sound Effects 的预告片，选择当下大热的Sora 视频体现新模型的能力。
视频链接：https://mp.weixin.qq.com/s/3qHNbqd9d0vE4uw53-YTxw
在这个长达 1 分钟的视频中，所有声响——从城市喧闹布景下繁忙街道上的脚步声、海浪声、火车运行时有节奏的咔哒声、新年热闹的人群、未来机器人的机械声到好莱坞风格的宣传短片人声，等等——都由文本到音频提醒生成。
“我们使用‘海浪撞击’、‘金属铿锵声’、‘鸟鸣声’和‘赛车引擎’等文本提醒来生成音频，并将其叠加到我们最喜欢的一些 OpenAI Sora 视频上。”该公司在一篇博文中写道。
ElevenLabs 表示，他们正在开发一个新产品，可以根据用户给出的场景描述生成声响，为原本无声的视频片段增加声效。这次给 Sora 生成的实质增加后果，算是一次牛刀初试。预告片出来后，有不少赞叹的声响。
linkedin用户的支持声
linkedin用户的支持声
x 平台用户的支持声
也不乏批评的声响，认为这些 AI 合成的声响没有“爱”和“细节”……
以 Sora、Runway、Pika 等东西为代表，完全由 AI 生成的实质正在兴起，后果传神，但缺乏布景音频，这就是 ElevenLabs 新模型的用武之地，它允许用户通过描述他们想要的实质来为其实质制作声响后果。
ElevenLabs 表示，尚未准备好发布其文本到音效模型，但上线后它将能够帮助实质创作者创立全方位的声响，包括脚步声、波浪声和氛围声等。
市场上已经有一些文本到音效模型，不过通常围绕音乐 AI 模型构建，包括 myEdit、AudioGen 和 StabilityAI 的 Stable Audio等。除了 AI 生成的实质，ElevenLabs 新模型产生的声响甚至可以应用于任何其他需要布景音效的视频。比如 Instagram 视频、商业或视频游戏预告片等。最终后果如何，还有待检验。
虽然声效都是文本提醒生成，但要生成准确的模拟后果并不容易。系统要同时针对文本和视频像素进行进修。“进修精确的视频-音频映射，还需要在潜在空间中建模一些‘隐含的’物理现象。” 英伟达 AI 科学家 Jim Fan 也关注到了 ElevenLabs 的新产品。
他同时指出，一个端到端的 Transformer 要准确模拟声效，要搞清楚很多事情。比如确定每个物体的类别、材料和空间位置、击中的是木制、还是金属表面？速度如何？处在什么样的空间环境？等等。“目前，我们还没有这么高质量的 AI 音频引擎。”他写道。
ElevenLabs 成立于 2022 年，由前谷歌机器进修工程师 Piotr Dabkowski 和前 Palantir 部署策略师 Mati Staniszewski 共同创立。此后，公司推出了由 AI 驱动的文本转语音软件和自动翻译的 AI 配音东西，可将视频中的演讲翻译成 20 多种语言，依旧“保持原来的语气和风格”。今年年初，这家公司凭借最近 8000 万美元的 B 轮融资跻身 AI 独角兽行列。
新模型可能会给 ElevenLabs 带来先发优势，但值得注意的是，活跃在 AI 语音领域的其他几家公司也有潜力涉足这一领域。其中包括 MURF.AI、Play.ht 和 WellSaid Labs 等知名厂商。接下来，应该会涌现一批能够分析视频实质并准确自动增加声响后果的东西。
生成式 AI 的梦想之一是能够通过单一提醒创立完整、全面的实质。随着文本转音效、AI 视频和合成语音等技术的进步，我们正在逐渐靠近这个梦想。
想体验 ElevenLabs 最新的 AI Sound Effects ?不妨先注册等待吧，这里有传送门：
https://form.typeform.com/to/gg0xzZW4
参考链接
https://elevenlabs.io/blog/ai-sound-effects-are-coming-soon/