Meta 出品!Pippo:输入单张人物图片生高分辨率多视角图片

近日,Meta Reality Labs 的研究团队联合高效发布了一项名为 “Pippo” 的创新性生成模型,能够从一张随意拍摄的照片中,生成一段高达1K 分辨率的密集周转视频。 这一突破性技术,标志着计算机视觉和图像生成领域的又一重要进展。 Pippo 模型的核心在于其多视图扩散转换器的设计。

近日,Meta Reality Labs 的研究团队联合高效发布了一项名为 “Pippo” 的创新性生成模型,能够从一张随意拍摄的照片中,生成一段高达1K 分辨率的密集周转视频。这一突破性技术,标志着计算机视觉和图像生成领域的又一重要进展。

QQ_1739759486317.png

Pippo 模型的核心在于其多视图扩散转换器的设计。与传统的生成模型不同,Pippo 不需要任何额外的输入,例如拟合的参数模型或拍摄该图像的相机参数。用户只需提供一张普通的照片,系统就能自动生成多视角的视频效果,为用户呈现出更加生动和立体的人物形象。

为了便于开发者使用,Pippo 此次发布为代码 - only 版本,没有预训练权重。研究团队提供了必要的模型、配置文件、推理代码以及 Ava-256数据集的样本训练代码。开发者可以通过简单的命令克隆和设置代码库,快速上手进行训练和应用。

Pippo 项目的未来计划包括整理和清理代码,以及推出针对预训练模型的推理脚本。这些改进将进一步提升用户体验,推动该技术在实际应用中的广泛使用。

项目:https://github.com/facebookresearch/pippo

划重点:

🌟 Pippo 模型能够从一张普通照片生成高分辨率的多视图视频,无需额外输入。  

💻 代码仅发布,没有预训练权重,开发者可自行训练模型并进行应用。  

🔍 团队计划未来推出更多功能和改进,以增强用户体验。

相关资讯

有史以来最高互作强度,华盛顿大学David Baker团队用AI工具产生具有非凡结合强度的蛋白质

编辑 | 萝卜皮多肽的研究对于药物开发、疾病检测和环境监测具有重大意义。许多肽激素在结合其受体后形成 α 螺旋,对其敏感的检测方法可能有助于更好的疾病临床管理。从头蛋白质设计现在可以生成对结构化蛋白质具有高亲和力和特异性的结合物。然而,蛋白质和具有螺旋倾向的短肽之间的相互作用的设计是一个尚未解决的挑战。华盛顿大学医学院蛋白质设计研究所的科学家们人工智能驱动的生物技术来应对这些挑战。他们使用人工智能软件创建了蛋白质分子,这些蛋白质分子以极高的亲和力和特异性与各种具有挑战性的生物标志物(包括人类激素)结合。值得注意的是

生成AI的两大范式:扩散模型与Flow Matching的理论基础与技术比较

生成模型已成为人工智能领域的关键突破,赋予机器创建高度逼真的图像、音频和文本的能力。 在众多生成技术中,扩散模型和Flow Matching尤为引人注目。 这两种方法虽然都致力于在噪声与结构化数据之间建立转换,但其基础原理存在本质区别。

华为诺亚综述:生成式模型如何用于决策?

机构:华为诺亚决策推理实验室作者:李银川、郝建业等人近年来,生成模型在内容生成(AIGC)领域蓬勃发展,同时也逐渐引起了在智能决策中的应用关注。 由于生成模型能够处理复杂的数据分布,并具备强大的建模能力,它们可以被引入决策系统,用于生成引导代理进入高奖励状态的轨迹或中间子目标。 本综述系统性地梳理了生成模型在决策任务中的应用,并提供了全面的分类框架。