Runway、Stability AI 、Pika 纷纷放大招，AI视频神仙打架！

Runway、Stability AI、Pika 纷纷放大招，最近的 AI 视频真是神仙打架！大家好我是花生~

前段时间刚给大家介绍过 LCM 技术 和 AI 绘画 实时生成 的相关内容，没想到紧接着 AI 视频领域又迎了一波重大更新，真是令人应接不暇。今天就为大家仔细盘点一下近期几个主流 AI 视频工具的发展动态，让你轻松跟上 AI 潮流~

相关推荐：

一、Runway

先说 Runway ，之前已经带大家了解过它的相关功能，包括文本/图像转视频（Gen2-）,视频风格化（Gen-1）和视频帧差值，此外它的功能还包括文生图、图生图、一键扣除视频背景、抹除视频指定元素等，可以说是目前最强的 AI 视频生成&编辑工具。

Runway 网站直达： https://app.runwayml.com/

Runway 网站主页

midjourney 生成的图像

用 Runway 将图像转为视频，内容来源: https://twitter.com/i/status/1683183085808934912

自 6 月份文本/图像转视频功能上线以来，Runway 一直都在努力提升视频生成的质量和可控性。8 月份的时候， 它的视频时长由 4 秒增加至 18 秒，并且新增了「Motion Slider 运动滑块 」功能，让用户可以控制视频的动态强度。

不同动态数值的效果对比。视频来源： https://twitter.com/i/status/1696868501397426187

9 月份的时候上线了「Camera Motion 相机运动 」功能，让用户可以控制镜头的运动方向，包括水平左移、水平右移、垂直上移、垂直下移、顺时针旋转、逆时针旋转、镜头推进和镜头拉远。这让视频生成的可控性得到提升，也让 AI 制作电影短片成为可能。

镜头前推，来源： https://twitter.com/i/status/1727856162526441853

镜头左移，来源： https://twitter.com/i/status/1728403369813757982

就在前几天，Runway 上线了重磅新功能「Motion Brush 运动笔刷 」，我们只需在图像上涂抹一个区域，就能将其变为动态内容。这种局部处理的方式一方面让内容控制能精确灵活，另一方面区域之外的部分仍保持静态，从而减轻了图生视频中常见的画面扭曲问题，在处理效率变高的同时也让整体效果也更逼真，是非常聪明且实用的新功能。

Motion Brush 演示，来源： https://twitter.com/i/status/1728129678395994384

Runway 网站支持 QQ 邮箱注册，新用户有 105 秒的免费生成额度，可以生成大约 20 个短视频，大家可以去官网体验一下这些新功能。

除了提升视频生成质量，Runway 也一直在推动 AI 视频生态的发展完善。它去年举办了首届 AI 电影节（AIFF），邀请全球艺术家使用最新的 AI 技术制作创意短视频，目前第二届正在接受投稿。前段时间还举办了一个为期 2 天的 AI 短视频竞赛 Gen-48，向全球用户征集用 Runway 生成的优质短视频，目前已经评选结果已经在官网公布，我看了一下都非常精彩。

AI 电影节官网： https://aiff.runwayml.com/

Gen-48 官网： https://gen48.runwayml.com/winners

Runway 最近还推出了线上电视频道 Runway TV，24 小时循环播放由 AI 制作的视频，可以看出官方对 AI 视频发展的重视和信心。也非常推荐大家去看看这些 AI 视频，真的会让人感叹 AI 技术发展的迅速和艺术家创意的精彩，从中我们也能一瞥未来视频制作流程的雏形。

Runway TV 链接直达： Runway TV

二、Stable Video Diffusion

AI 视频领域近期另一个重磅更新就是 Stability AI 推出的 Stable Video Diffusion 模型，同样可以通过文本或图像生成高质量的视频。

Stable Video Diffusion 介绍： https://stability.ai/news/stable-video-diffusion-open-ai-video-model

Stable Video Diffusion （下面简称 SVD）之所以这么受关注，一方面是因为它是开源模型，大家可以免费使用；另一方面则是它的生成效果非常好，下面是几个用 SVD 将图像转为动图的例子，视频清晰度很高，画面也很稳定，整体表现并不亚于目前最火的 Runway。

来源： https://twitter.com/i/status/1727046123742007455

来源： https://twitter.com/i/status/1727085648014917688

来源： https://twitter.com/i/status/1729009760677044628

SVD 的功能虽然强大，也可以部署到本地，但是对配置的有要求，如果想在本地生成清晰的视频，至少要 16G 的显存，这对我们普通用户来说门槛还是比较高的。但开源模型的好处就是一旦出现了，总会有大神为我们铺好道路，让高大上的工具变得触手可及。SVD 推出到现在不过一个星期，就已经出现了好几种免费使用方式，这里分享 2 个比较可靠的在线工具给大家：

① Replicate

链接直达： stability-ai/stable-video-diffusion – Run with an API on Replicate

这是 Stability AI 官方部署的线上试用页面，可以将用户上传的图像转为视频，支持调整视频帧数、动态强度、视频画幅、帧率等参数。

② Stable-Video-Diffusion.com

链接直达： https://huggingface.co/spaces/multimodalart/stable-video-diffusion

这是第一个专门围绕 SVD 构建的网站，上传图像就能生成视频。生成效果同样不错，但人多的时候需要排队，使用时记得过一两分钟就刷新一下界面，看看视频是否完成。

相关推荐：

三、Pika

最后再来看一下 Pika ，今年 7 月份的时候给大家介绍过 Pika 了，它是继 Runway 之后又一款比较受关注的 AI 视频生成工具，支持文生图和图生图，被称为“视频版 Midjourney”。目前它的服务依旧托管在 Discord 中，新用户可以免费体验。

Pika 官网直达： https://www.pika.art/

Pika 生成的视频

过去的几个月 Pika 也更新了不少功能，包括支持控制动态强度和镜头运动方式，支持调节视频画幅和帧率，可以用反向提示词控制视频内容，以及用带文字或 logo 的垫图来引导视频的生成，总体来说和 Runway 非常类似。

视频来源： https://twitter.com/i/status/1706028424979239249

昨天，Pika 官方发布了 Pika 1.0，支持根据文本生成 3D 动画、动漫、卡通和电影风格的视频，质量非常稳定，并且还支持调整视频细节，比如修改画幅比例，给人物换装，在画面局部生成元素等，用户注册后可以免费体验。感觉 Pika 也是在努力探索一条差异化的发展道路，避免与 Runway 的功能上完全重合。