大家好，这里是和你们一起探索 AI 的花生~
最近一款新的 AI 视频生成模型 Dream Machine 爆火出圈，它虽然只能生成 5s 的视频片段，但是在画面清晰度、静态的自然流通程度、以及对提醒词的理解上秒杀了 Runway、Pika 等一众东西，甚至能与 Sora 一较高下，因此得到了很多专业人士的肯定和称赞。今天就为大家详细介绍一下 Dream Machine 的用法和特点。
相关推荐：
Dream Machine
官网直达： https://lumalabs.ai/dream-machine
Dream Machine 是 Luma AI 新推出的一款视频生成模型，这家公司原本是专注于 3D 内容生成技术的，推出过一款极度出名的 3D 模型生成东西 Genie。没想到这次居然发布了一个视频生成模型，而且效验比其他的同类产品都要好，实在令人惊喜。
Dream Machine 支持通过英文提醒词以及图象生成时长 5 秒、分辨率 1024 的高清流通视频。东西目前对所有公众开放，每个用户每月有 30 次的免费生成额度，但生成结果不可商用。进入网页后点击右上角的「Try Now」，用邮箱注册一个账号，登录后就可以使用了。
Dream Machine 网站主页
Dream Machine 的操作界面极度简单，没有视频比例、镜头静止、静止速度这些选项，只有提醒词输入框和图象上传按钮，文生视频的默认比例是 16:9，所以上手使用极度简单。用户可以在 「Account」内查看自己的剩余的使用次数，由于免费用户的优先级会低于付费用户，所以在拥挤时段提交生成任务后，需要耐心等待一段时间才能得到结果。
Dream Machine 生成界面
虽然 Dream Machine 目前的生成时长只有 5 秒，远不及 Sora 等模型的 60s 的长度，但是它生成的品质的确惊人，在静止速度和行动连贯度上基本到达了和真实世界一致的水平，不再像之前的模型那样容易出现画面静止和慢行动。比如下面的这个 “烟花绽放” 的效验就是直接通过文本生成的，效验极度自然。
泉源：Twitter @takamasa045。提醒词：Night sky, Watermelon-inspired, Fireworks Mood: Enchanting Composition: Expansive view of the night sky filled with watermelon-shaped fireworks Lighting: Softly lit surroundings with bursts of vibrant
而通过与 Runway 和 Pika 的生成效验进行对比，我们可以更直观地感受到 Dream Machine 的优点。在处理包含人物的场景时，Runway 和 Pika 生成的静态微小有限，人物行动也很迟缓；而 Dream Machine 的静态则极度明显，处理人物行走姿态时极度流通自然，甚至还能自动补上一些新的画面。
当视频在手机上无法加载，可前往PC查看。
视频泉源：Twitter @taziku_co
与文生视频相比，Dream Machine 的图生视频功能目前更受欢迎。一方面是因为文本生成的视频画面在品质上不如 Midjourney 这样的专业出图东西好，另一方面是因为 Dream Machine 对物理和人物静止有极度深入地理解，知道下一步应该生成什么行动，因此可以根据图象生成连贯的新内容。
摩托车行驶，视频泉源：Twitter @tkyysm
眨眼静态，视频泉源：Twitter @tacute3
燃烧的火，泉源 Twitter @ciguleva
在处理图象的过程中，Dream Machine 依旧能保持较高的图象品质，包括人物的形象也能保持稳定一致，不会出现严重的扭曲模糊，这一点有效提升了 AI 视频创作的品质和效率。有网友尝试用 Dream Machine 来为一些经典的图片添加静态，得到的效验也很有意思。
蒙娜丽莎，泉源 Twitter @KodyKurth
泉源：Twitter @hey_madni
泉源：Twitter @HendoAi
虽然 Dream Machine 目前没有控制镜头静止和物体静止方向的选项，但我们可以在提醒词中加入与静止方向或拍摄手法相关的提醒词，比如 “The yellow rectangle is moving from left to right（黄色矩形从左向右移动）” 、 “ High Angle shot（俯拍）”，来实现想要的效验。
泉源：Twitter @toyxyz3
而且 Dream Machine 模型本身对场景的理解也极度不错，能生成有趣的镜头静止，而不仅仅是静止的角度。
比如根据一张自拍的图象+“Took a selfie” 的提醒词，Dream Machine 会自动生成包含 “手指点击按钮”、“挥手展示背景”、“旋转镜头” 等静态的片段，经后期拼接到一起、加上一些 UI 图标，看起来就像人物真的在直播一样；以及生成模特在 T 台走秀的场景时，镜头会从下慢慢上移，最后稳定跟随人物的上半身，可见 Dream Machine 对现实世界的模仿是极度到位的。
泉源：Twitter @KakuDrop
Dream Machine 生成的视频还有 2 个极度有意思的点，一是能自动生成画面中不存在的场景，这是之前的视频生成模型都没有的；二是生成的视频中如果包含角色，尤其是 3D 卡通角色的话，就很有可能会被加上嘴型行动。这可能是因为 Luma AI 用了很多电影来训练模型，这给图生视频带来更多的惊喜。
泉源：Twitter @ProperPrompter
泉源：Twitter @alifcoder
除了写实风，Dream Machine 在处理动漫、3D 卡通这样的风格化图象时，效验依旧极度稳定，可以用来制作一些高品质的动图。而且它也支持直接通过文本生成卡通、3D 卡通风格的视频内容。
泉源：IG @radstream
直接通过文本生成的卡通片段，泉源：Twitter @takamasa045。提醒词：In a twilight, otherworldly landscape, a samurai wields both sword and sorcery, drawing his luminous katana amidst swirling magical energy. His face is a mask of focus, his traditional armor adorned with glowing sigils.The air shimmers with ethereal light, in hues of blue and violet, as mist and shadows dance around. The katana gleams with an enchanted glow, signifying the fusion of ancient martial skill and potent dark magic, poised for an extraordinary strike.
基于 Dream Machine 在各项性能上的优化，再加上现在已经极度成熟的 AI 图象生成和 AI 音频生成技术，让 AI 视频在整体品质又比之前提升了不少，一些写实风的视频甚至能达到以假乱真的效验。不过 Dream Machine 目前也有一些小缺陷，比如视频结束时依旧会出现一些变形，或者生成静止姿势不正确等，另外不能手动设置视频画幅比例我感觉也不太方便，期待官方能在后续优化这些问题。
当视频在手机上无法加载，可前往PC查看。