腾讯混元开源 Hunyuan3D-1.0:首个同时支持文生和图生的 3D 开源大模型

腾讯混元今日开源了 Hunyuan3D-1.0 大模型,官方称这是首个同时支持文生和图生的 3D 开源大模型。 ▲ 文生模型▲ 图生模型模型采用两阶段生成方法,官方表示在保证质量和可控的基础上,10 秒即可生成 3D 资产:第一阶段,团队采用了一种多视角扩散模型,轻量版模型能够在大约 4 秒内生成多视角图像。 这些多视角图像从不同的视角捕捉了 3D 资产的丰富的纹理和几何先验,将任务从单视角重建松弛到多视角重建第二阶段,团队引入了一种前馈重建模型,利用上一阶段生成的多视角图像。

腾讯混元今日开源了 Hunyuan3D-1.0 大模型,官方称这是首个同时支持文生和图生的 3D 开源大模型

腾讯混元开源 Hunyuan3D-1.0:首个同时支持文生和图生的 3D 开源大模型

▲ 文生模型

腾讯混元开源 Hunyuan3D-1.0:首个同时支持文生和图生的 3D 开源大模型

▲ 图生模型

模型采用两阶段生成方法,官方表示在保证质量和可控的基础上,10 秒即可生成 3D 资产

  • 第一阶段,团队采用了一种多视角扩散模型,轻量版模型能够在大约 4 秒内生成多视角图像。这些多视角图像从不同的视角捕捉了 3D 资产的丰富的纹理和几何先验,将任务从单视角重建松弛到多视角重建

  • 第二阶段,团队引入了一种前馈重建模型,利用上一阶段生成的多视角图像。该模型能够在大约 3 秒内快速而准确地重建 3D 资产。重建模型学习处理多视角扩散引入的噪声和不一致性,并利用条件图像中的可用信息高效恢复 3D 结构

  • 最终该模型可以实现输入任意单视角实现三维生成

腾讯混元开源 Hunyuan3D-1.0:首个同时支持文生和图生的 3D 开源大模型

官方表示该模型的泛化能力和可控性强,可重建各类尺度物体,大到建筑,小到工具花草。

腾讯混元开源 Hunyuan3D-1.0:首个同时支持文生和图生的 3D 开源大模型

AI在线附相关链接如下:

  • Github:https://github.com/Tencent/Hunyuan3D-1

  • Huggingface:https://huggingface.co/tencent/Hunyuan3D-1

  • 研究论文:https://3d.hunyuan.tencent.com/hunyuan3d.pdf

相关资讯

智加科技论文DualBEV入选计算机视觉顶会ECCV

近日,智加科技团队论文《DualBEV: Unifying Dual Veiw Transformation with Probabilistic Correspondences》入选欧洲计算机视觉国际会议(ECCV, European Conference on Computer Vision),ECCV是计算机视觉领域最具影响力和权威性的国际会议之一,与国际计算机视觉大会(ICCV)和计算机视觉与模式识别会议(CVPR)齐名,被誉为计算机视觉领域的“三大顶会”之一。ECCV 每两年举办一次,汇聚了全球顶尖的研究

CVPR 2024 Highlight | 基于单曝光压缩成像,不依赖生成模型也能从单张图像中重建三维场景

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]。原文链接:::SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image一、引言传统的 3D 重建算法需要不同视角

HANDS@ECCV24 手部研讨会和挑战赛,诚邀投稿和参与竞赛

简介第八届HANDS将在ECCV24(9月30日下午,米兰)举办,包含研讨会和挑战赛。HANDS将为相关手部研究人员和从业者提供一个分享工作和讨论潜在合作的平台。过去7届HANDS也取得了极大的成功。本文档属于翻译,信息以官网为准。HANDS@ECCV24 主页::研讨会专注于手部相关方向,将邀请手部相关领域的专家做前沿报告。特别的,我们诚邀相关长文投稿。手部挑战赛:挑战赛基于最新的手部大数据集AssemblyHands、ARCTIC、OakInk2和UmeTrack,组织多个赛道,希望推动相关算法的发展。论文投稿