本文的主要作者来自香港大学、VAST、哈尔滨工业大学及浙江大学。本文的第一作者为香港大学博士生杨运涵。本文的通讯作者为香港大学刘希慧教授与VAST 公司首席科学家曹炎培博士。
在3D内容创作领域，如何像玩乐高一样，自由生成、编辑和组合对象的各个部件，一直是一个核心挑战。香港大学、VAST、哈尔滨工业大学及浙江大学的研究者们联手，推出了一个名为 OmniPart 的全新框架，巧妙地解决了这一难题。该研究已被计算机图形学顶会 SIGGRAPH Asia 2025 接收。
如今，从游戏、VR到数字孪生，高质量的3D世界构建变得至关重要 。尽管现有的AI模型能够生成令人惊叹的3D整体形状，但它们大多是“一体式”的模型，缺乏内在的部件结构。这种结构上的不透明性，极大地限制了模型在部件编辑、动画制作、材质分配等关键应用中的价值 。
为了破解这一难题，研究者们提出了 OmniPart，一个创新的“部件级别”3D生成框架。它的核心思想是将复杂的生成任务解耦为两个协同工作的阶段：“先规划，后生成”，在保证部件之间高度独立（语义解耦）的同时，也确保它们能完美地组合成一个整体。
论文题目：OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
项目主页：https://omnipart.github.io/
代码下载：https://github.com/HKU-MMLab/OmniPart
Huggingface demo: https://huggingface.co/spaces/omnipart/OmniPart
效果展示
OmniPart 以简单的2D图像（如图中画框所示）和掩码为输入，首先通过自回归模型规划出三维部件结构，然后同步生成所有高质量、带纹理的独立部件（如透明展柜中所示）。这些部件能够无缝地融合成一个结构协调的完整对象，并提供了显式的部件控制能力，从而极大地增强了后续的编辑、定制化和动画制作效果。
方法介绍：两阶段“规划-生成”策略
OmniPart 的流程优雅而高效，它将复杂的部件生成任务分解为两个核心模块：可控的结构规划（Controllable Structure Planning）和空间感知的部件生成（Spatially-Conditioned Part Synthesis)。
第一阶段：基于2D掩码的结构规划
首先，模型需要规划出3D对象的部件布局 。OmniPart 采用了一个自回归Transformer模型，它会根据输入的2D图像，预测出一系列3D包围盒（Bounding Boxes），每一个包围盒都代表一个部件的空间位置和大小。
这里最巧妙的创新在于，用户可以通过提供简单、灵活的2D部件掩码（Part Masks）来直观地控制部件的分解粒度。这些掩码无需与3D部件一一对应，也无需语义标签，大大降低了控制的难度。例如，用户可以决定机器人的手臂和手掌是一个部件还是两个独立的部件。
为了确保生成的包围盒能完整地覆盖对应部件，团队还引入了一种新颖的“部件覆盖损失”（Part Coverage Loss），鼓励模型生成稍大一些的包围盒，避免部件信息在后续阶段丢失。
第二阶段：空间感知的部件生成
有了部件的“空间蓝图”（包围盒）后，第二阶段的任务就是生成所有高质量的3D部件，并确保它们能无缝拼接。
该模块基于一个强大的预训练3D整体生成器（TRELLIS）进行高效微调。它将所有部件的潜在编码（latent codes）进行并行联合优化，而不是孤立地生成每个部件。这种全局与局部信息结合的去噪过程，确保了最终部件之间的高度一致性。
此外，为了解决部件边界处体素重叠和噪声问题，OmniPart 提出了一种新颖的“体素丢弃机制”。该机制能精确判断每个体素是否真正属于其分配的部件，从而生成清晰的部件接口，让组合后的整体更加完美。
实验效果：质量与效率全面领先
生成质量对比
如下图所示，与 Part123、PartGen 等现有方法相比，OmniPart 生成的3D部件在几何细节、语义准确性和结构一致性上都表现出明显优势。其他方法或只能生成表面分割，或几何质量较差，而 OmniPart 则能生成结构完整、细节丰富且能完美组合的独立部件。
生成效率
值得一提的是，OmniPart 的生成效率也实现了大幅提升。相较于需要复杂多视图重建流程的 Part123（约15分钟）和 PartGen（约5分钟），OmniPart 的统一框架能够在不到1分钟（约0.75分钟）的时间内完成从单张图像到所有3D部件的端到端生成 。
方法 | Part123 | PartGen | OmniPart (Ours) |
时间（分钟） | ~15 | ~5 | ~0.75 |
3. Huggingface demo 展示
丰富的下游应用
得益于其出色的部件可控性，OmniPart 自然地支持一系列激动人心的下游应用：
掩码控制生成 (Mask-Controlled Generation)：用户可通过编辑2D掩码，精确指导3D部件的结构生成。
多粒度生成 (Multi-Granularity Generation)：通过调整掩码的精细程度，可以生成不同细节层次的部件组合。
材质编辑 (Material Editing)：可以对特定部件（如企鹅的帽子、衣服）进行独立的材质或纹理修改。
几何处理 (Geometry Processing)：生成的高质量部件有利于后续的网格重构（remeshing）等几何处理，不会在部件连接处产生伪影。
总结
OmniPart 框架通过其创新的“规划-生成”两阶段流程，并引入灵活的2D掩码作为引导，成功地实现了高质量、可控的部件级3D内容生成。它不仅在生成质量和效率上树立了新的标杆，其强大的可编辑性和应用潜力也为游戏开发、动画制作和虚拟现实等领域铺平了道路，推动了可解释、可编辑3D内容的创作边界。
值得一提的是，该团队近期在3D部件领域已经积累了多篇高质量的研究成果，形成了系统性的探索。其中包括专注3D部件分割的工作SAMPart3D(https://yhyang-myron.github.io/SAMPart3D-website/)，该研究旨在实现对任意3D物体进行精细化的部件分割。另一项相关研究HoloPart(https://vast-ai-research.github.io/HoloPart/) 则致力于解决从不完整的表面部件信息（Amodal Segmentation）中生成完整的3D部件几何。从部件的分割 (SAMPart3D)、补全 (HoloPart) 到如今的生成 (OmniPart)，这些工作共同构建了一个围绕“部件级3D物体”的AIGC技术矩阵。
