可从单张图像创建多视图 3D 视频,Stability AI 发布 Stable Video 3D 模型

Stability AI 近日发布了 Stable Video 3D 模型,该模型可从单张图像创建多视图 3D 视频。▲ 图源 Stability AI,下同Stable Video 3D 包含两个变体,其中 SV3D_u 能基于单个图像输入生成轨道视频,无需相机调节;而 SV3D_p 扩展了 SVD3_u 的功能,其可容纳轨道视图,允许沿着指定的摄像机路径创建 3D 视频。相较之前的 Stable Zero123 模型或开源替代品 Zero123-XL,Stable Video 3D 在质量上有明显提高,并具有更

Stability AI 近日发布了 Stable Video 3D 模型,该模型可从单张图像创建多视图 3D 视频。

Stable Video 3D 模型原理

▲ 图源 Stability AI,下同

Stable Video 3D 包含两个变体,其中 SV3D_u 能基于单个图像输入生成轨道视频,无需相机调节;而 SV3D_p 扩展了 SVD3_u 的功能,其可容纳轨道视图,允许沿着指定的摄像机路径创建 3D 视频。

相较之前的 Stable Zero123 模型或开源替代品 Zero123-XL,Stable Video 3D 在质量上有明显提高,并具有更好的多视图功能和更熟练的泛化能力,能更忠实地展现输入图像的三维全貌。

Stable Video 3D 模型对比之前模型

Stability AI 表示,新模型的水平提升有赖于其基石 Stable Video Diffusion 模型,同时 Stable Video 3D 添加了摄像机路径调节,可生成围绕物体的任意轨道。

Stable Video 3D 利用其多视图一致性来优化 3D NeRF 和网格表示,以提高直接从新视图生成的 3D 网格的质量。

为此 Stability AI 设计了一种新的掩码分数蒸馏采样损失技术,可提高 3D 预测质量。同时其解纠缠照明优化也减少了照明问题,提升了阴影质量。

Stability AI 表示 Stable Video 3D 已可通过其 Stability AI 会员订阅(IT之家注:对于一般个人每月 20 美元)商业使用;而对于非商业用途,则可在 Hugging Face 平台上下载模型权重。

相关资讯

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

3D 生成领域迎来新的「SOTA 级选手」,支持商用和非商用。Stability AI 的大模型家族来了一位新成员。昨日,Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后,又为社区带来了 3D 视频生成大模型「Stable Video 3D」(简称 SV3D)。该模型基于 Stable Video Diffusion 打造,能够显著提升 3D 生成的质量和多视角一致性,效果要优于之前 Stability AI 推出的 Stable

Stable Video Diffusion来了,代码权重已上线

Stability AI 的视频生成模型看来效果不错。AI 画图的著名公司 Stability AI,终于入局 AI 生成视频了。本周二,基于 Stable Diffusion 的视频生成模型 Stable Video Diffusion 来了,AI 社区马上开始了热议。很多人都表示「我们终于等到了」。项目地址:,你可以基于原有的静止图像来生成一段几秒钟的视频。基于 Stability AI 原有的 Stable Diffusion 文生图模型,Stable Video Diffusion 成为了开源或已商业行列中

文生图 AI 巨头 Stability AI 被曝欠下近 1 亿美元,正与投资者洽谈融资事宜

综合路透社、The Information 消息,被视为文生图 AI 领域“巨头”之一的英国人工智能初创公司 Stability AI 发言人表示,该公司正与一批投资者洽谈大额股权融资事宜,以为当前资金短缺的 Stability AI 注入新的资金。该发言人表示,Stability AI 正与一家“世界知名的”技术投资集团进行独家合作。报道称,Stability AI 公司第一季度的收入不到 500 万美元(IT之家备注:当前约 3610 万元人民币),亏损超过 3000 万美元(当前约 2.17 亿元人民币),目