3D生成明星玩家VAST，又又又又又开源了！
Tripo Doodle（内部代号TripoSG Scribble) ，能够将简单的2D草图和文本提示（Text Prompt）实时转化为精细的3D模型。
它改进了传统3D建模学习曲线陡峭、耗时耗力的痛点，尤其是在初期“打形”阶段。
现在，该项目的关键组件已经开源。
通过Tripo Doodle，用户可以：
- 直观绘制（Sketch Intuitively）：在画布上随手勾勒简单的 2D 形状和线条。
- 添加文本提示（Add Text Prompts）：通过文字输入，赋予模型语义信息或特定属性。
- 即时生成（Generate Instantly）：实时看到基于草图和文本生成的 3D 模型，并随着输入的修改而动态更新。
在SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中，Tripo Doodle展示了一个“万物皆可画”的未来——3D 建模可以像2D涂鸦一样流畅自然、触手可及。
它让创作者能从繁琐的工具操作中解放出来，将精力完全聚焦于创意本身。
基于TripoSG的实时交互延伸
Tripo Doodle是一款旨在彻底简化并加速3D创作流程的全新交互界面。
值得注意的是，Tripo Doodle并非从零构建，它巧妙地利用并扩展了VAST旗下TripoSG基础模型的能力，并针对实时、多模态交互进行了创新：
首先来了解一下TripoSG基础模型（TripoSG Base Model）。
TripoSG是它的底层引擎，它是一图像到3D（Image-to-3D）形状生成模型。
该模型开创性地采用了大规模整流流 Transformer（Large-Scale Rectified Flow Transformer）架构，能在精选数据集上进行训练，直接从条件输入（基础模型通常是图像）生成高保真3D网格。
其内部通过定制的VAE管理精确的符号距离函数（Signed Distance Function, SDF）表征。
其次是多模态条件注入（Multimodal Conditioning - Sketch + Text）。
Tripo Doodle的核心突破在于增强了TripoSG，使其能够理解并同时融合草图和文本两种输入模态。
其一，草图引导（Sketch Guidance）。
2D绘图提供了强几何约束，定义了3D模型的核心形状、结构和姿态。
其二，文本引导（Text Guidance）。
自然语言提示则负责引导语义理解，影响物体的类型、风格和具体特征（例如，演示中加入“dragon”文本提示，就能将一个基础的怪兽草图转化为龙形态）。
再者还有实时性能优化（Real-Time Optimization - 例如蒸馏技术）。
为了实现“涂鸦”体验所必需的近乎实时的生成速度，Tripo Doodle采用了CFG Distillation等优化技术。
通过训练一个更快的“学生”模型来模拟（或“学习”）更大TripoSG 模型的输出能力，从而实现能在用户连续输入时进行快速推理和实时更新。
从概念到初步3D可视化的时间缩短至秒级
SIGGRAPH Asia 2024 Real-Time LIVE! 现场，Tripo Doodle生动演示了自己的能力。
以下实例突显了Tripo Doodle如何将从概念到初步3D可视化的时间缩短至秒级，让3D创作变得前所未有的简单和有趣。
轻松创建
无论是植物、桌子、戒指还是怪兽，简单的几笔草图都能即时转化为3D物体。
实时迭代
随着用户绘制、擦除、修改草图，或添加/更改文本提示（如将普通怪兽变为“乌龟怪兽”或带翅膀的“龙怪兽”），3D模型会动态、无缝地更新。
创意探索
“Randomize”（随机化）功能允许用户基于同一份草图和文本输入，快速浏览多种不同的、合理的3D解释，极大地促进了创意发散。
易用性与效率
“Doodle 1v1” 环节中，观众成员在30秒内创作怪兽。
即使是初次使用者，也能快速上手并创造出如“番茄怪兽”、“毛毛虫怪兽”等充满趣味（有时甚至出人意料）的作品，充分证明了其直观性和高效性。
一直以来，VAST致力于通过开放合作推动领域发展。
此次，TripoSG Scribble（即Tripo Doodle）与TripoSG的核心组件都将对外开放。
VAST诚邀全球的研究者、开发者和创作者们，深入探索TripoSG及Tripo Doodle背后的技术理念，在其基础上构建应用。
TripoSG-Scribble抱抱脸：https://huggingface.co/spaces/VAST-AI/TripoSG-scribbleTripoSG抱抱脸：https://huggingface.co/spaces/VAST-AI/TripoSGTripoSG GitHub：https://github.com/VAST-AI-Research/TripoSGTripoSG arXiv：https://arxiv.org/abs/2502.06608
