AI在线 AI在线

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

作者:夏花生
2024-11-27 08:26
大家好,我是花生~. 之前为大家介绍过一款 AI 视频生成工具 DreamMachine,它由知名 AI 科技公司 Luma AI 推出,可以将图像转为动态视频,而且尤其擅长实现两张不同的图像间的流畅转换,很适合用来制作创意转场。 相关推荐:.

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

大家好,我是花生~

之前为大家介绍过一款 AI 视频生成工具 DreamMachine,它由知名 AI 科技公司 Luma AI 推出,可以将图像转为动态视频,而且尤其擅长实现两张不同的图像间的流畅转换,很适合用来制作创意转场。

相关推荐:

超强 AI 视频生成模型 Dream Machine 来啦!效果秒杀 Runway,可免费使用

大家好,这里是和你们一起探索 AI 的花生~ 最近一款新的 AI 视频生成模型 Dream Machine 爆火出圈,它虽然只能生成 5s 的视频片段,但是在画面清晰度、动态的自然流畅程度、以及对提示词的理解上秒杀了 Runway、Pika 等一众工具,甚至能与 Sora 一较高下,因

阅读文章 >

就在昨天,Luma AI 宣布推出全新版本的 DreamMachine,它不再是一个单纯的视频生成工具,而成了一个集图像/视频生成、编辑为一体的 AI 创作工具,给用户带来了一种新的创作方式和体验。新版 DreamMachine 在交互方式上也有全面升级,整体使用体验非常丝滑,下面就一起来看看吧~

一、新版简介

官网直达: https://dream-machine.lumalabs.ai/

新版 Dream Machine 在网站风格和功能排布上有很大变化。第一次使用的时候,官网弹出了一个窗口列举了它的 7 大新功能,分别是:

  1. Boards:情绪板/故事板,这是 Dream Machine 的基础创作单位。你的想法可以在一个 Board 中无限延展,生成各种图片和视频,知道得到满意的结果;
  2. Creactive Intelligence:AI 生成功能,包括新的 DM1.6 视频生成模型和 Luma Photon 图像生成模型;
  3. Modify:支持通过自然语言对图像/视频内容进行编辑;
  4. Reference:通过垫图保持图像风格/角色特征一致性;
  5. Keyframe:支持首位帧控制视频生成;
  6. Share & Remix:将包含创作过程的 Board 分享给他人;
  7. Brainstorm & Creative Query:系统会基于你的想法,延展出多个不同的建议,帮助你进行头脑风暴。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

这个 7 个功能并不是独立存在的,而是分布在图像/视频生成的不同阶段,帮助用户更好地生成创意和想法。如上所说,Dream Machine 的基础创作单位是 Board,所以我们进入网站后首先需要新建一个 Board,然后再进行后续的生成操作。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

Dream Machine 使用方式和 Midjourney 官网有些相似。它将图像生成、视频生成、风格参考、角色一致性控制等功能都放在一个底部输入框内进行。

如果想生成图像,就直接在文本框内描述用英语描述你想要的内容,自然语言就行,无需遵循什么语法和规则;如果想生成视频,就在提示词前加上 make a video of,发送后就会生成视频。图像/视频的默认画幅比是 16:9;点击底部右侧的圆形调节按钮可以修改画幅。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

二、图像生成

图像和视频的生成结果会以线性的方式排列,上下滑动鼠标可以查看所有生成历史。下面是文生图的界面截图,Dream Machine 的图像生成质量还是不错的,不过美学风格和多样性还是比 Midjourney v6.1 差了一些。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

可以看到我们的提示词被多个椭圆形线框分割开来了,点击这些线框,下面会弹出一系列同类型的关键词;选择其中任意一个,系统会根据新的关键词重新生成一组图像。生成结果会平行排列,用鼠标点击可以切换查看,这样我们就能很方便地探索不同的图像内容和风格。

将鼠标悬浮在单张图像之上,可以在右下角看到一串小图标,它们分别代表不同的功能:Modify 修改、Make Video 转视频、Reference 将图像做为参考、More like this 生成相似变体和 Download 下载。

这里着重说一下 Modify 图像修改功能。选择此功能后,图像会自动加载到底部的文本框内,我们只需再描述需要的修改,比如 “让这个女人带上一串珍珠项链”,或者“将其转为动漫风格”,图像就会发生对应的变化。新图像的内容构图会与原图有所不同,因此它不是局部重绘、也没有 controlnet 的硬控制属性,而是一种基于自然语言的图像修改功能。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

点击图像组左上角的 「Brainstorm」按钮,可以查看系统给出的灵感建议,比如让图像风格更梦幻、生成不同艺术特色的动漫风格等。所有建议都自带提示词和效果图预览,点击就能自动复制使用。

三、视频生成

如果一开始生成的就是视频,也可以进行 show more 再次生成、Brainstorm 生成建议、Modify 视频修改、Extend 视频延长等操作。而且新的 DM1.6 模型在视频生成质量上的确比之前好了很多,画质更加清晰,动态也很自然。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

如果是图像转视频,点击 make video 后,可以拖动将图像设置为首帧或者尾帧,然后直接用自然语言描述你想要的画面动态和镜头运动,比如填写 “zoom out”,系统会自动弹出对应的镜头运动选项 pull out,选择它再发送生成就可以了。但我感觉这种方式对新手来说并不是很友好,毕竟不是所有人都知道专业的镜头描述用语,不如直接将所有可选镜头都罗列出来。

四、图像上传

Dream Machine 支持上传本地图像进行编辑,点击底部文本框左侧的「图像小图标」上传,然后在右上角设置图像的应用类型,包括 KeyFrames 视频首尾帧、Modify 图像修改和 Reference 图像参考。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

其中 Reference 可分为风格参考和角色参考两种。如果想参考风格,就先在文本框内输入@ 然后选择 style,然后描述新的画面内容,比如 “a cute cat”,就能借鉴图像的风格,不过从测试结果来看效果并不是很好。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

如果想要创造一致的人物角色,就先上传一张角色的正面肖像照,然后输入 @ 并选择 character,再描述想要场景。Dream Machine 在保持人物一致性的效果还不错,就是人物表情会有些僵硬,希望之后能更做进一步的优化。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

当生成了一系列图像、视频后,再回到网站主页,就能看到系统自动将我们开始新建的 Board 进行了命名,并配上了最新生成图像做为预览图方便识别,整体界面看起来非常规整有秩序。进入 Board 后,点击右上角的 Share 按钮,可以将此画板的内容全部分享给他人,这样别人能清晰了解图像的创作思路与过程,还可以通过 reply 按钮发布评论。

点击网站左侧的第二个小图标可以进入图库,我们生成的所有图像、视频都会在这里展示。Dream Machine 的会员最低 10 美元/月,新用户有免费试用额度,感兴趣的小伙伴可以试玩一下。

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

那么以上就是对新版 Dream Machine 功能用法的介绍,此次更新的亮点有:新增了图像生成和多种图像编辑功能,让原本的单一的生态更加完整,方便用户一站式完成各种创意工作;新的交互界面也非常有意思,值得一试。

当然目前也有一些明显的不足,比如风格参考的效果并不好;用自然语言控制镜头运动的方式对新手来说不够友好;以及没有生成中止选项,不小心点到生成按钮后就无法撤回,感觉积分白白浪费,希望官方在这些官方可以尽快做出优化。

喜欢本期内容的话记得点赞评论支持一波。也欢迎大家关注「优设 AI 自学网」 和「优设微信视频号」,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~

DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

推荐阅读:

Flux 生态再爆发!新增 4 大模型,支持局部重绘/扩图/风格变体

大家好,我是花生~ 上周 Flux 模型研发方 Black Forest Labs 突然又发布了 4 款新的模型,而且都非常实用,支持对图像进行外绘扩展、局部重绘和生成风格变体,此外还有 depth 和 canny 的控制功能。

阅读文章 >

绝美!8组国风书画卷轴提示词,文创设计必备!

大家好,我是花生~   新中式、新国风主题的设计风格在近些年来越来越流行,今天为大家推荐 8 组我精心整理的国风书画卷轴 Midjdourney 提示词,很适合用来生成与传统节日、习俗或文创设计相关的素材。

阅读文章 >

相关标签:

相关资讯

早报速读!2025年最新AI视频产品评测&优秀案例

自 24 年 H2 开始,AI 视频行业以周为单位高速发展,GenLumio 是我从 24 年开始 0-1 规划 - 设计 - 开发的 AI 视频项目,旨在为大家带来每周最新鲜的 AI 视频优秀作品、产品动向。 我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。 网站1期功能介绍多维度分类:目前网站已整理出 20 种类别,包括 动漫、叙事短篇、增加元素、风格参考、主体物替换、首尾帧、对口型等,涵盖 AI 视频技术的主要应用场景。
3/17/2025 1:42:23 AM
Bay的设计奥德赛

Luma开源图像模型预训练技术IMM 采样效率提高10倍

人工智能初创公司Luma近日在X平台宣布,其开源了一项名为Inductive Moment Matching(IMM)的图像模型预训练技术。 这一突破性技术以其高效和稳定的特性引发了广泛关注,被认为是生成式AI领域的一次重要进步。 据X用户linqi_zhou透露,IMM是一种全新的生成范式,能够以单模型和单一目标从零开始稳定训练,同时在采样效率和样本质量上超越传统方法。
3/13/2025 2:13:00 PM
AI在线

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

当Sora「千呼万唤」不出来时,OpenAI 的对手们却纷纷祭出大杀器来炸街。Sora 再不开放使用,真的要被偷家了!今日,旧金山初创公司 Luma AI 打出一手王牌,推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。据介绍,该模型能够根据简单的文本描述生成高质量、逼真视频,效果堪比 Sora。消息一出,大量用户挤进官网尝鲜。尽管官方声称该模型能在短短两分钟内生成 120 帧视频,但由于访问量激增,许多用户在官网中苦苦等待数小时。Luma 的产品增长主管 Barkley Dai 不得不在
6/14/2024 11:48:00 AM
机器之心
  • 1