当Sora「千呼万唤」不出来时,OpenAI 的对手们却纷纷祭出大杀器来炸街。
Sora 再不开放使用,真的要被偷家了!
今日,旧金山初创公司 Luma AI 打出一手王牌,推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。
据介绍,该模型能够根据简单的文本描述生成高质量、真切视频,效果堪比 Sora。
消息一出,大量用户挤进官网尝鲜。
尽管官方声称该模型能在短短两分钟内生成 120 帧视频,但由于访问量激增,许多用户在官网中苦苦等待数小时。
Luma 的产品增长主管 Barkley Dai 不得不在 Discord 上发文解释 ——
「目前我们面临巨大的需求,正在努力提升我们的处理能力。所有视频生成任务都会保留,只是需要在队列中稍作等待。一旦我们增加了处理能力,我会立刻在这里通知大家!」
Dream Machine 效果到底如何?
有网友表示,目前,Luma 是 AI 视频规模的新王者。
还有网友称,「我们不再需要 Sora !」不知 OpenAI 看了作何感想。
不过也有网友吐槽,制作 8 个视频后,系统提醒「超出最大使用限制」,并且没有解释应该等待多长时间才能制作新视频。
网友疯狂整活儿
这几天,AI 视频圈子卷疯了,你方唱罢我登场。
先是快手可灵开启内测,排队人数超过 5 万人,紧接着 Luma 就祭出杀手锏 Dream Machine,人人免费可用。
与其他 AI 视频模型相比,Dream Machine 具有以下几个特点:
1. 速度快,120 秒即可生成 120 帧;
2. 作为真切,流畅,还融入电影级别的摄影技巧和戏剧张力;
3. 角色一致性极强,能够模拟物理世界;
4. 运镜自然,可匹配场景情感。
Luma 官方和广大网友们陆续整活儿,奉上了一出出精彩的视觉盛宴。
例如,这段使用文本生成的视频,画面是一辆汽车在马路上狂飙。无论是行驶过程还是镜头转换,丝滑真切。一个低至地面的摄像机,跟踪一群小仓鼠深入洞穴,这画面与 Sora 的蚂蚁视频有异曲同工之妙,不过,Dream Machine 使用的是图生视频功能,俗称「垫图」。
一个身穿橙色 T 恤的光头男人在房间内移动,人物的真切程度以及画面构图媲美电影大片。这是一个废墟场景拍摄镜头。地面上废弃的绳子、木板以及墙面的涂鸦呈现地自然真实。
画面中,一名妙龄女子挥舞裙摆跳舞,作为行云流水,像极了奢侈品广告大片。不过美中不足的是,裙摆、头发会出现形变。
甚至有网友生成了一段杀手枪战的作为场景。
网友 @ai_mov_director 还用它生成一段 1 分钟的故事片 ——「Break The Tie」,在保持人物一致性方面,Dream Machine 有两把刷子。
除了生成真切视频外,Dream Machine 也可以尝试不同风格。
比如日本动漫风:迪士尼风格:
总体来看,Dream Machine 在视频的真切度、流畅度方面值得称道,不过它并非完美。
曾为苹果、三星、谷歌等知名品牌执导过广告的 Julien Vallee 表示,Dream Machine 能够模仿自然摄像机作为,特别是手持拍摄时,效果非常真切。然而,与其他模型一样,它也需要一些试错,才能生成出色的镜头。
文生视频圈大乱斗
2024 年是大选之年,OpenAI 为了不惹事,一直把 Sora 藏着掖着。
当 Sora「千呼万唤」不出来时,对手们却纷纷祭出大杀器来炸街。
AI 视频规模风云突变。
既然 Dream Machine、可灵都打着「对标 Sora」的旗号,那么,我们索性就搞个竞技场,让 Dream Machine、可灵与 Sora 同台 PK。
Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
华文提醒词 1:两艘海盗船在一杯咖啡中航行时相互争斗的真切特写视频。
Sora:
Dream Machine:
可灵:
Prompt 2:Nighttime footage of hermit crabs using light bulbs as shells.
华文提醒词 2:寄居蟹用灯泡做壳的夜间镜头。
Sora:
Dream Machine:
可灵:
Prompt 3:macro shot of a leaf showing tiny trains moving through its veins.
华文提醒词 3:一片叶子的微距照片,显示微小的火车在叶脉中移动。
Sora:
Dream Machine:
可灵:
Prompt 4:A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
华文提醒词 4:一个时髦的女人走在东京的街道上,到处都是温暖的霓虹灯和生动的城市标志。她穿着彩色皮夹克、红色长裙、彩色靴子,拿着一个彩色钱包。她戴着太阳镜,涂着红色的口红。她走起路来自信而随意。街道是潮湿和反光的,创造了一个彩色灯光的镜子效果。许多行人走来走去。
Sora:
Dream Machine:
可灵:
Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.
华文提醒词 5:考古学家在沙漠中发现了一把普通的塑料椅子,他们小心翼翼地挖掘并掸去了上面的灰尘。
Sora:
Dream Machine:
可灵:
Prompt 6:a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.
华文提醒词 6:一只穿着彩色连帽运动衫的电脑黑客拉布拉多猎犬坐在电脑前,当它快速打字时,屏幕的眩光照射在狗的脸上。
Sora:
Dream Machine:
可灵:
英伟达领投的这家公司什么来头?
Dream Machine 火了,也让其背后的公司 Luma AI 出尽了风头。
Luma AI 成立于 2021 年,最初只是一家聚焦于 3D 内容生成的技术公司。
首席执行官 Amit Jain 曾是苹果公司的计算机视觉系统工程师,首席技术官 Alex Yu 曾是加州大学伯克利分校的研讨生(放弃博士学业创办了 Luma AI )。二人在 3D 视觉、机器学习、实时图形学等规模都有所建树。
据悉,这家公司已经历数轮融资。
A 轮融资由 Amplify Partners、Nventures(Nvidia 投资部门)和 General Catalyst 领投,共筹集 2000 万美元;B 轮融资则由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投,筹集 4300 万美元。截至目前,公司共融资 7000 多万美元,估值在 2 亿到 3 亿美元之间。
去年 11 月,Luma AI 在 Discord 服务器上推出了文生 3D 模型 Genie。后来推出 1.0 版本,把出图时间从 20 多秒提升到了 10 秒之内。
没想到,这次 Luma AI 直接转道 AI 视频规模。
据官网显示,Luma AI 核心团队仅 34 人,从名字看,有 5 人是华人。
联合创始人兼首席技术官 Alex Yu,2021 年从加州大学伯克利分校毕业。期间,他在伯克利人工智能研讨实验室与 Angjoo Kanazawa 教授一起进行 NeRFs 研讨。
同年毕业于加州大学伯克利分校的 Angela Dong,曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司实习,随后又加入 Cruise 担任仿真工程师,专注于为感知模型训练创造合成数据。目前,她在 Luma 担任机器学习工程师。
首席科学家 Jiaming Song 本科毕业于清华大学,硕博毕业于斯坦福大学。在加入 Luma AI 之前,他曾担任英伟达学习和感知(Learning and Perception)研讨团队和深度想象(Deep Imagination)研讨团队的研讨科学家。
此外,Quei-An Chen 和 Paul Yoo 在 Luma 担任研讨科学家。
(左为Quei-An Chen,右为Paul Yoo)
其中 Quei-An Chen 在 NeRF 规模深耕,曾因其在 Github 上发起的多个热门开源项目而声名鹊起,比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前,他在 DENSO 公司和 LINE 公司参与了多个 3D 视觉技术项目。
链接:
https://lumalabs.ai/dream-machine/creations