直观绘制3D模型，VAST再次开源

3D生成领域的明星项目VAST又一次开源了！这次推出的项目名为Tripo Doodle（内部代号TripoSG Scribble），能够将简单的2D草图和文本提示实时转化为精细的3D模型。它解决了传统3D建模学习曲线陡峭、耗时费力的问题，尤其在初期“打形”阶段表现突出。

Tripo Doodle的关键组件已开源，用户可以通过它直观绘制、添加文本提示并即时生成3D模型。只需在画布上勾勒简单的2D形状和线条，输入文字赋予模型语义信息或特定属性，即可实时看到生成的3D模型，并随输入调整动态更新。

在SIGGRAPH Asia 2024 Real-Time LIVE! 上，Tripo Doodle展示了“万物皆可画”的未来。它让创作者专注于创意，摆脱繁琐工具操作。Tripo Doodle基于VAST的TripoSG基础模型开发，利用大规模整流流Transformer架构，结合定制的VAE和符号距离函数表征，实现了从草图到3D模型的精准转化。

此外，Tripo Doodle支持多模态条件注入，融合草图和文本输入模态。草图提供几何约束，文本则负责语义引导。为实现快速生成，项目采用CFG蒸馏技术优化性能，使生成速度接近实时。

演示中，从概念到初步3D可视化的耗时缩短至秒级。用户可以用几笔草图快速创建3D物体，动态修改草图或文本提示后，3D模型实时更新。此外，“随机化”功能帮助用户探索多种创意方向。“Doodle 1v1”环节中，新手也能在30秒内完成趣味作品。

VAST希望通过开放TripoSG Scribble和TripoSG的核心组件，推动领域发展。欢迎全球研究者、开发者和创作者共同探索其技术潜力。相关资源包括Hugging Face空间链接、GitHub仓库和arXiv论文。