Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

AI好好用报道编辑:杨文Runway三天更新两次,Luma全力狙击,AI视频圈狼烟再起。 Runway 和 Luma 这俩「死对头」,又开始暗暗较劲。 从上周六开始,Runway 仅三天就上新了两次。

AI好好用报道

编辑:杨文

Runway三天更新两次,Luma全力狙击,AI视频圈狼烟再起。

Runway 和 Luma 这俩「死对头」,又开始暗暗较劲。

从上周六开始,Runway 仅三天就上新了两次。

一次是推出视频扩展(Expand Video)功能,一次是发布了图像生成模型 Frames。

图片

Luma 也不甘示弱,昨晚几乎与 Runway 同时,推出了全新的 Dream Machine,其中也包括 AI 生图功能。

图片

这两大 AI 视频「扛把子」,都心照不宣地盯上了 AI 生图这块蛋糕,这下子压力给到 Midjourney、Stable Diffusion 和 DaLL・E 了。

  • Runway 链接:https://runwayml.com/
  • Luma 链接:https://lumalabs.ai/dream-machine

-1-

Runway难道没有创新瓶颈?

Runway 总有新点子。

去年被玩坏的 AI 扩图,Runway 灵机一动把它用在了视频上。

上周六,Runway 推出了视频扩展(Expand Video)功能,并已开始逐步推出,很快就会向所有人开放。 

图片

它可以在原始画面周围生成额外内容,灵活调整视频比例,让横屏变竖屏,反之亦然。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

在保持视觉一致性的同时,无缝扩展画面,用新构图创造新故事。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

和 AI 扩图一样,它也能根据文本提示,扩展出让人意想不到的镜头。     

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

此外,将多个扩展镜头连接在一起,我们还可以创建出电影般的运镜效果。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

仅隔一天时间,Runway 昨晚再次上新,推出了图像生成模型 ——Frames,在风格控制和视觉保真度方面表现出色。

用官方的话来说,「有了 Frames,你可以构建代表非常特定观点和审美特征的世界,精确设计你想要创造的世界的外观、感觉和氛围。」

图片

世界 1089:场景布置(Mise-en-scène)

场景布置通过经典电影的视觉语言重新想象数字肖像画,每幅图像都捕捉到了标志性构图风格的精髓。在光影精心编排的场景中,主体浮现出来。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

世界 3190:1980 年代特效化妆(1980s SFX Makeup)

这是一个复兴实用特效时代的世界,那时生物是由乳胶和油漆而非像素创造的。

每一件作品都致敬了那些手工制作的怪物和血腥场景,它们定义了一个真正实用创新的年代。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

世界 3204:1970 年代专辑艺术(1970s Album Art)

凶猛的动物、戏剧性的摄影与实验性字体和饱和色彩相结合。

每一款设计都是对新兴音乐专辑大胆美学的重新想象,当时凶猛的生物和引人注目的肖像统治了黑胶唱片艺术。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

世界 4027:日本杂志(Japanese Zine)

复古动漫美学与梦幻般的科幻相遇,在五彩缤纷的花朵和飞碟中爆发。

那种独特的 70 年代漫画感觉——大胆的线条、宇宙背景,以及浪漫与超现实主义的不可抗拒的混合。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

世界 7621:数字图片配置文件(Digital Picture Profiles)

当代肖像画与建筑对称性和电影色彩分级相结合。

Frames 捕捉到了那种独特的艺术院线气质——中性调色板、决定性瞬间和精心考虑的构图,让主体和空间合二为一。

图片

世界 0981:动态范围景观 (Dynamic Range Landscapes)

大自然全光谱的色彩以生动的细节展开。

从遥远山峰的深邃阴影到矿物形成的绚丽纹理,从晶莹剔透的盐田到阴郁的山脉,大地与天空的交织,呈现出广阔的色调细节。

图片

世界 8421:一次性用品(Disposables)

未经修饰的闪光照相机与真实的瞬间相遇,展现了所有颗粒感十足、光线泄露的辉煌。

无可挑剔的35毫米胶片魅力——过曝的高光、鲜艳的色彩变化,以及不经意间捕捉到的照片中那种原始活力。

图片

世界 1009:静物 (Still Life)

日常物品通过构图和自然光展现出它们的静谧诗意,每一幅图像都将平凡之物转变为迷人之景。

图片

世界 8862:杂志拼贴 (Magazine Collage)

复古剪贴画和波普艺术在超现实的新叙事中碰撞。

每件作品都叠加了撕破的照片、大胆的排版和出人意料的并置,创造出模糊幽默与不安之间界限的构图。

图片

世界 3107:运动中的物体(Objects in Motion)

每个构图都定格了一个受控破坏的瞬间,将简单物品转变为动态雕塑。

图片

-2-

Luma 半路狙击

就在 Runway 推出新模型半小时后,Luma 也于昨晚发布了全新的 Dream Machine。

全新到什么程度呢?

首先,直观的交互设计。我们可以用自然语言描述想法,或上传参考图像来指导输出,无需复杂的提示工程。

图片

其次,Luma 现在不仅可以生成视频,还可以生成视觉效果绝佳的图像。

这是由 Luma Photon 提供支持,一个号称「最具创造力、最智能、最快的图像 AI 模型」。

此外,它还推出了不少功能。

参考重绘功能:用户可以将单一图片转化为动态角色,并在多种场景中使用,甚至可以将一张照片与另一张照片融合,创造出独特的角色。

图片

首次实现一致性角色:用户可以用来自单个图像的一致角色制作动画故事情节,这种一致性在视频创作中是前所未有的。

图片

视频创作工具:使用强大的 DM 1.6 视频模型,通过摄像 Dream Machine 提供「镜头运动」、「起始与结束帧」和循环功能。

图片

头脑风暴功能:对于缺乏灵感的用户,Dream Machine 的头脑风暴功能可以提供各种创意点子,帮助他们找到创作方向。

图片

-3-

一手实测

与 Runway 的逐步开放不同,Luma 新功能现在就可以直接在 iOS 和 Web 上免费试用。

其玩法也很简单。Luma 为此还出了个官方教程。

Runway和Luma又开始对掐!一手实测全新功能,谁能胜出?

接下来,我们就实测一下。

我们先输入一段提示词:A fashionable girl was holding a bouquet of flowers,16:9(一个时髦的女孩手捧一束鲜花。)

图片

接着让它按照上面第一幅图的风格,继续生成。

图片

然后选取其中两张图片作为关键帧,生成一段 5 秒视频:

图片

X 博主 @NimrodEshed 分享了他整个创作过程。

输入提示词:imdb13000film photography of a more real hot air balloon shaped like a giant sushi roll floating in the sky of Singaporeamong the skyscrapers. The balloon's body is wrapped in shiny black nori with bright green avocado, orange salmon, and white rice accents. The basket below mimics chopsticks, adding a whimsical touch to this sushi-inspired balloon soaring above Singapore's cityscape.中文版:在新加坡的摩天大楼天空中,一个更真实的热气球,形状像一个巨大的寿司卷,正在漂浮。气球的表面包裹着闪亮的黑色海苔,上面点缀着鲜绿色的牛油果、橘色的三文鱼和白色的米粒。下面的篮子模仿着筷子,为这个以寿司为灵感的气球增添了一抹奇思妙想,它在新加坡的城市景观上方翱翔。

图片

从中选出一张图片,以此为参考,让它生成一段视频。

图片

X 博主 max cas 则用 Luma 生成了一些小怪物。

图片

并将其制作成视频:

图片

Runway链接:

https://runwayml.com/

Luma链接:

https://lumalabs.ai/dream-machine

参考链接:

https://x.com/runwayml

https://x.com/LumaLabsAI

https://runwayml.com/research/introducing-frames

https://x.com/minchoi/status/1861123346923941889

文章视频链接:https://mp.weixin.qq.com/s/rVWnlCsYqqT-BnC_3lDCnw

以后我们会带来更多好玩的AI应用,也欢迎大家进群交流。

图片

相关资讯

实测字节豆包·视频生成模型:Sora画的饼被实现了......

但更多的网友则是期待字节的视频生成模型,因为早在去年11月,字节的项目Make Pixels Dance就展示字节具备了解决长AI视频中角色一致性难以保持的问题。 所以我也看到很多外网网友的另一个问题“Where is ByteDacne?”。 而就在9.24火山引擎AI创新巡展深圳站上,火山引擎一口气发布了个视频生成模型PixelDance和Seaweed模型。

Runway Gen-3的视频转绘功能太牛了!大片制作0门槛!

大家好我是花生~ Runway 在推出 Gen-3 Alpha 视频生成模型后,还一直有一些小的更新,比如推出了新的 Turbo 模型,生成速度比原来快了 7 倍;支持尾帧控制;支持将视频延长至 40s 等,都是非常符合用户需求的优化提升。 而它前几天推出的 V2V (Video to Video) 功能,更是将 AI 视频在风格转绘上的水平提升到了一个新的高度,再次秀了一波「AI 视频生成王者」的实力。该功能一经推出就受到众多专业 AI 视频创作者的称赞,并迅速衍生出多种玩法,很有潜力成为一个新的流量风口,喜欢

又一Sora级选手来炸街!我们拿它和Sora、可灵PK了下

当Sora「千呼万唤」不出来时,OpenAI 的对手们却纷纷祭出大杀器来炸街。Sora 再不开放使用,真的要被偷家了!今日,旧金山初创公司 Luma AI 打出一手王牌,推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。据介绍,该模型能够根据简单的文本描述生成高质量、逼真视频,效果堪比 Sora。消息一出,大量用户挤进官网尝鲜。尽管官方声称该模型能在短短两分钟内生成 120 帧视频,但由于访问量激增,许多用户在官网中苦苦等待数小时。Luma 的产品增长主管 Barkley Dai 不得不在