UniMGS-AAAI2026 Project Page

140

186

论文题目：UniMGS: Unifying Mesh and 3D Gaussian Splatting with Single-Pass Rasterization and Proxy-Based Deformation​

💥

摘要：

3DGS和Mesh是两种流行的3D表示，前者具有出色的重建速度和照片级真实的渲染效果，后者是图形管线的基础元素。​

已有的研究探索了3DGS&Mesh混合渲染在自动驾驶、具身智能、交互式游戏领域的应用潜力。然而由于表示方式的差异，现有的渲染方案不能有效处理复杂遮挡情况、缺乏高效的3DGS与Mesh的交互表示。​

本文提出UinMGS，包括一种基于光栅化的3DGS和Mesh的统一渲染方法，能够处理复杂的遮挡情况和支持透明渲染；提出一种基于ProxyMesh的3DGS变形表示，可在5秒内完成百万数量Gaussians与Triangle Faces的快速绑定。​

•
机械臂：Mesh​

•
其他物体&环境：3DGS​

50%

•
透明容器、水：Mesh​

•
其他物体&环境：3DGS​

50%

研究动机

•
目标：在3DGS建模的环境中，用户输入Mesh资产（车、机器人、物体、人…… ）能够与环境交互（物理）​

现有的3DGS & Mesh混合渲染研究示例：自动驾驶（Vid2Sim，CVPR'25）、家具装修、具身智能、游戏（Video2Game，CVPR'24）

52%

研究挑战：渲染与变形。

48%

•
技术挑战：​
◦
3DGS和Mesh是不同的3D表示方式，其渲染、变形方式都不同​
◦
渲染：已有的研究采用独立(seperate-pass)的渲染方案，无法处理遮挡情况​
◦
变形：已有的研究将3DGS初始化在Mesh上，再训练(小时级别)，且变形伪影大​

53%

•
技术思考：​
◦
渲染：Mesh和3DGS都支持光栅化，设计统一的光栅化渲染管线​
◦
变形：直接绑定训练好的3DGS和Mesh​

47%

方法

提出统一的光栅化方案，实现统一渲染；提出Gaussian-centric绑定方案，实现统一变形。

50%

左：光栅化方案设计细节(step-by-step)；右：逐步克服问题(锯齿、颜色溢出)

50%

对比实验

3DGS变形

👏 UniMGS在大变形下无伪影

25%

UniMGS-AAAI2026 Project Page​