可从单张图像创建多视图 3D 视频,Stability AI 发布 Stable Video 3D 模型

Stability AI 近日发布了 Stable Video 3D 模型,该模型可从单张图像创建多视图 3D 视频。▲ 图源 Stability AI,下同Stable Video 3D 包含两个变体,其中 SV3D_u 能基于单个图像输入生成轨道视频,无需相机调节;而 SV3D_p 扩展了 SVD3_u 的功能,其可容纳轨道视图,允许沿着指定的摄像机路径创建 3D 视频。相较之前的 Stable Zero123 模型或开源替代品 Zero123-XL,Stable Video 3D 在质量上有明显提高,并具有更

Stability AI 近日发布了 Stable Video 3D 模型,该模型可从单张图像创建多视图 3D 视频。

Stable Video 3D 模型原理

▲ 图源 Stability AI,下同

Stable Video 3D 包含两个变体,其中 SV3D_u 能基于单个图像输入生成轨道视频,无需相机调节;而 SV3D_p 扩展了 SVD3_u 的功能,其可容纳轨道视图,允许沿着指定的摄像机路径创建 3D 视频。

相较之前的 Stable Zero123 模型或开源替代品 Zero123-XL,Stable Video 3D 在质量上有明显提高,并具有更好的多视图功能和更熟练的泛化能力,能更忠实地展现输入图像的三维全貌。

Stable Video 3D 模型对比之前模型

Stability AI 表示,新模型的水平提升有赖于其基石 Stable Video Diffusion 模型,同时 Stable Video 3D 添加了摄像机路径调节,可生成围绕物体的任意轨道。

Stable Video 3D 利用其多视图一致性来优化 3D NeRF 和网格表示,以提高直接从新视图生成的 3D 网格的质量。

为此 Stability AI 设计了一种新的掩码分数蒸馏采样损失技术,可提高 3D 预测质量。同时其解纠缠照明优化也减少了照明问题,提升了阴影质量。

Stability AI 表示 Stable Video 3D 已可通过其 Stability AI 会员订阅(IT之家注:对于一般个人每月 20 美元)商业使用;而对于非商业用途,则可在 Hugging Face 平台上下载模型权重。

相关资讯

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

3D 生成领域迎来新的「SOTA 级选手」,支持商用和非商用。Stability AI 的大模型家族来了一位新成员。昨日,Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后,又为社区带来了 3D 视频生成大模型「Stable Video 3D」(简称 SV3D)。该模型基于 Stable Video Diffusion 打造,能够显著提升 3D 生成的质量和多视角一致性,效果要优于之前 Stability AI 推出的 Stable

Stable Video Diffusion来了,代码权重已上线

Stability AI 的视频生成模型看来效果不错。AI 画图的著名公司 Stability AI,终于入局 AI 生成视频了。本周二,基于 Stable Diffusion 的视频生成模型 Stable Video Diffusion 来了,AI 社区马上开始了热议。很多人都表示「我们终于等到了」。项目地址:,你可以基于原有的静止图像来生成一段几秒钟的视频。基于 Stability AI 原有的 Stable Diffusion 文生图模型,Stable Video Diffusion 成为了开源或已商业行列中

Google、Meta又放大招!用嘴做视频的时代也要来了

大家好,这里是和你们聊设计的花生~ 近段时间 AI 工具发展势头越发迅猛,在为大家介绍过的 AI 模型中,DALLE·2 和 Midjourney 在文本生成图像的质量和精准度上有了大幅度优化提升,后起之秀 Stable Diffusion 则将 AI 模型的操作门槛降低到普通人都能轻松入门的高度。除了这些着力发展文本-图像(text-image)模型的科技公司,我在 8 月份也向大家概括地介绍过 Google、微软、Facebook 这些我们熟悉的互联网科技巨头在文本-图像 AI 模型上的研发成果,也同样有不凡的