超强 AI 视频生成模型 Dream Machine 来啦！效果秒杀 Runway，可免费使用

大家好，这里是和你们一起探索 AI 的花生~

最近一款新的 AI 视频生成模型 Dream Machine 爆火出圈，它虽然只能生成 5s 的视频片段，但是在画面清晰度、动态的自然流畅程度、以及对提示词的理解上秒杀了 Runway、Pika 等一众工具，甚至能与 Sora 一较高下，因此得到了很多专业人士的肯定和称赞。今天就为大家详细介绍一下 Dream Machine 的用法和特点。

相关推荐：

Dream Machine

官网直达： https://lumalabs.ai/dream-machine

Dream Machine 是 Luma AI 新推出的一款视频生成模型，这家公司原本是专注于 3D 内容生成技术的，推出过一款非常出名的 3D 模型生成工具 Genie。没想到这次居然发布了一个视频生成模型，而且效果比其他的同类产品都要好，实在令人惊喜。

Dream Machine 支持通过英文提示词以及图像生成时长 5 秒、分辨率 1024 的高清流畅视频。工具目前对所有公众开放，每个用户每月有 30 次的免费生成额度，但生成结果不可商用。进入网页后点击右上角的「Try Now」，用邮箱注册一个账号，登录后就可以使用了。

Dream Machine 网站主页

Dream Machine 的操作界面非常简单，没有视频比例、镜头运动、运动速度这些选项，只有提示词输入框和图像上传按钮，文生视频的默认比例是 16:9，所以上手使用非常简单。用户可以在 「Account」内查看自己的剩余的使用次数，由于免费用户的优先级会低于付费用户，所以在拥挤时段提交生成任务后，需要耐心等待一段时间才能得到结果。

Dream Machine 生成界面

虽然 Dream Machine 目前的生成时长只有 5 秒，远不及 Sora 等模型的 60s 的长度，但是它生成的质量的确惊人，在运动速度和动作连贯度上基本到达了和真实世界一致的水平，不再像之前的模型那样容易出现画面静止和慢动作。比如下面的这个 “烟花绽放” 的效果就是直接通过文本生成的，效果非常自然。

来源：Twitter @takamasa045。提示词：Night sky, Watermelon-inspired, Fireworks Mood: Enchanting Composition: Expansive view of the night sky filled with watermelon-shaped fireworks Lighting: Softly lit surroundings with bursts of vibrant

而通过与 Runway 和 Pika 的生成效果进行对比，我们可以更直观地感受到 Dream Machine 的优点。在处理包含人物的场景时，Runway 和 Pika 生成的动态微小有限，人物动作也很迟缓；而 Dream Machine 的动态则非常明显，处理人物行走姿态时非常流畅自然，甚至还能自动补上一些新的画面。

视频来源：Twitter @taziku_co

与文生视频相比，Dream Machine 的图生视频功能目前更受欢迎。一方面是因为文本生成的视频画面在质量上不如 Midjourney 这样的专业出图工具好，另一方面是因为 Dream Machine 对物理和人物运动有非常深入地理解，知道下一步应该生成什么动作，因此可以根据图像生成连贯的新内容。

摩托车行驶，视频来源：Twitter @tkyysm

眨眼动态，视频来源：Twitter @tacute3

燃烧的火，来源 Twitter @ciguleva

在处理图像的过程中，Dream Machine 依旧能保持较高的图像质量，包括人物的形象也能保持稳定一致，不会出现严重的扭曲模糊，这一点有效提升了 AI 视频创作的质量和效率。有网友尝试用 Dream Machine 来为一些经典的图片添加动态，得到的效果也很有意思。

蒙娜丽莎，来源 Twitter @KodyKurth

来源：Twitter @hey_madni

来源：Twitter @HendoAi

虽然 Dream Machine 目前没有控制镜头运动和物体运动方向的选项，但我们可以在提示词中加入与运动方向或拍摄手法相关的提示词，比如 "The yellow rectangle is moving from left to right（黄色矩形从左向右移动）" 、 “ High Angle shot（俯拍）”，来实现想要的效果。

来源：Twitter @toyxyz3

而且 Dream Machine 模型本身对场景的理解也非常不错，能生成有趣的镜头运动，而不仅仅是静止的角度。

比如根据一张自拍的图像+“Took a selfie” 的提示词，Dream Machine 会自动生成包含 “手指点击按钮”、“挥手展示背景”、“旋转镜头” 等动态的片段，经后期拼接到一起、加上一些 UI 图标，看起来就像人物真的在直播一样；以及生成模特在 T 台走秀的场景时，镜头会从下慢慢上移，最后稳定跟随人物的上半身，可见 Dream Machine 对现实世界的模仿是非常到位的。

来源：Twitter @KakuDrop

Dream Machine 生成的视频还有 2 个非常有意思的点，一是能自动生成画面中不存在的场景，这是之前的视频生成模型都没有的；二是生成的视频中如果包含角色，尤其是 3D 卡通角色的话，就很有可能会被加上嘴型动作。这可能是因为 Luma AI 用了很多电影来训练模型，这给图生视频带来更多的惊喜。

来源：Twitter @ProperPrompter

来源：Twitter @alifcoder

除了写实风，Dream Machine 在处理动漫、3D 卡通这样的风格化图像时，效果依旧非常稳定，可以用来制作一些高质量的动图。而且它也支持直接通过文本生成卡通、3D 卡通风格的视频内容。

来源：IG @radstream

直接通过文本生成的卡通片段，来源：Twitter @takamasa045。提示词：In a twilight, otherworldly landscape, a samurai wields both sword and sorcery, drawing his luminous katana amidst swirling magical energy. His face is a mask of focus, his traditional armor adorned with glowing sigils.The air shimmers with ethereal light, in hues of blue and violet, as mist and shadows dance around. The katana gleams with an enchanted glow, signifying the fusion of ancient martial skill and potent dark magic, poised for an extraordinary strike.

基于 Dream Machine 在各项性能上的优化，再加上现在已经非常成熟的 AI 图像生成和 AI 音频生成技术，让 AI 视频在整体质量又比之前提升了不少，一些写实风的视频甚至能达到以假乱真的效果。不过 Dream Machine 目前也有一些小缺陷，比如视频结束时依旧会出现一些变形，或者生成运动姿势不正确等，另外不能手动设置视频画幅比例我感觉也不太方便，期待官方能在后续优化这些问题。