DeMapGS 论文阅读笔记

基本信息

项目	内容
论文标题	DeMapGS (Simultaneous Mesh Deformation and Surface Attribute Mapping via Gaussian Splatting)
作者	Shuyi Zhou, Shengze Zhong, Kenshi Takayama, Takafumi Taketomi, Takeshi Oishi
作者单位	The University of Tokyo (东京大学)
时间	2023（根据引用和内容推断）
发表会议/期刊	暂未明确标注，应属预印本或待发表论文

方法概览

特点	文章性质
输入	多视角图像以及一个初始的模板网格。
输出	一个可变形、带纹理贴图（漫反射、法线、位移贴图）的三角网格（Mesh），并能提取出相应的高斯溅射（Gaussian Splatting）表示。
所属领域	三维重建

1. 摘要精简

DeMapGS提出了一个结构化高斯泼溅框架，通过将高斯泼溅（Splats）锚定在一个可变形模板网格的表面上，实现网格与高斯属性的联合优化。该框架克服了传统高斯泼溅缺乏拓扑一致性的问题，并极大地增强了编辑的灵活性。通过创新的梯度扩散策略和交替的2D/3D渲染方案，DeMapGS能够支持大范围的鲁棒网格变形。优化后，可以从附着在表面的高斯泼溅中提取出高保真度的漫反射、法向和位移图，使重建出的网格能够继承高斯泼溅的高质量渲染效果，并可直接用于下游编辑和跨物体操作。

2. 引言与出发点

出发点：
1. 问题一（高斯溅射缺乏结构）：以NeRF和3DGS为代表的可微分渲染方法能实现高保真渲染，但其生成的表示（体积场、点云）是非结构化或隐式的，难以提取精确的、拓扑一致的表面几何，也难以进行编辑和动画。
2. 问题二（网格重建与高质量渲染脱节）：从体积场或点云后处理重建的网格质量通常低于渲染输出，且计算开销大。现有将高斯溅射附着在网格上的方法，要么网格是固定的无法优化，要么只允许微小的形变，严重依赖于准确的初始网格。
目标：提出一个统一的表示，能够同时进行网格的大步长、鲁棒形变，并联合优化高斯参数，最终生成一个既保持网格拓扑结构又具备高斯溅射级别渲染质量的模型。

3. 相关工作总结

论文在“相关工作”章节回顾了三个关键领域：

多视角图像网格重建：从传统MVS方法，到基于可微分渲染（如NeRF、3DGS）的网格提取方法。指出这些方法通常需要后处理，且网格质量受限。依赖于后处理步骤（如泊松重建、行进立方体），计算开销大，且提取的网格质量往往低于原始渲染输出。
表面形变：回顾了数据驱动外力（如边缘、关键点吸引）和内部能量项（如弹性、膜能量）保持平滑的形变模型，以及将此类先验集成到可微分模型中的近期工作。网格通常是静态的或仅允许微小变形，严重依赖准确的初始网格，无法适用于从任意模板进行通用重建。
网格锚定的高斯溅射：总结了将高斯溅射附着在网格表面用于动画、编辑和高效渲染的工作。指出这些方法中网格形变非常有限或完全固定，限制了从任意模板进行通用重建的能力。本文方法与之形成对比，支持对模板网格进行大步长形变。

相关工作对比：

方法类别	代表工作	场景表示	拓扑/编辑性	渲染质量	主要问题
体积/泼溅表示	NeRF, 3DGS	隐式场/高斯	无结构，编辑困难	高	无拓扑，难以编辑、动画
后处理网格提取	SuGaR, 2DGS, GOF	高斯 → (后处理) → 网格	有网格，但几何可能不准确或有噪声	高（源自GS）	非端到端，几何质量可能低于渲染质量
静态网格锚定GS	GaMeS, 一些动画工作	高斯附着在固定/微调网格上	有一定结构	高	网格不变或变形极小，依赖精准初始化
可变形模型	NRICP, Point2Mesh	可变形网格	优秀	低（依赖顶点颜色或简单纹理）	难以从图像直接优化出高保真外观

4. 创新点

联合优化框架与梯度扩散策略：提出了一个可同时优化网格顶点位置和表面附着高斯溅射参数的框架。其中，梯度扩散策略能够将局部溅射的梯度传播到整个网格表面，实现平滑、协调且大步长的顶点更新，同时保持网格规则性。
高保真表面属性提取流程：提出了一种后处理流程，能够直接从优化后的高斯溅射中提取高质量的漫反射贴图、法线贴图和位移贴图。这使得重建的网格可以直接用于标准图形流水线（如GPU细分、mipmapping）和内容创建工具。
结构化高斯表示支持下游应用：所提出的表示弥合了基于溅射的渲染与结构化网格表示之间的鸿沟，天然支持基于表面的编辑（如纹理修改）、跨物体操作（因共享参数化表面）以及动画。

5. 网络/框架架构

DeMapGS的框架是一个联合优化流程，而非传统的前馈神经网络。其核心架构包括：

输入：多视角图像 + 初始模板网格（如细分立方体或SMPL-X人体模型）。
参数化表示：
- 可变形网格：由顶点 $V$ 和面 $F$ 定义。
- 表面附着的高斯溅射 $G$ ：每个高斯溅射 $g_k$ 通过重心坐标 $β_k$ 、沿面法线的位移 $d_k$ 和局部旋转 $q_k$ 锚定在一个三角形面上。其中心位置 $p_k$ 计算公式为：
$p_k = \sum_{m=1}^{3} β_{k,m} v'_{f_{c,k},m} + d_k n_{f_{c,k}}$
- 同时优化一个全局刚性变换（缩放 $s^*$ ，旋转 $q^*$ ，平移 $t^*$ ）以提高对初始模板的鲁棒性。
交替优化引擎：在优化过程中，交替使用2DGS和3DGS两种不同的可微分渲染器：
1. 将高斯泼溅均匀地附着在网格的每个三角面上。
2. 使用可微渲染器（2DGS/3DGS）渲染这些表面附着的高斯泼溅。
3. 计算渲染图像与真实图像之间的损失。
4. 通过梯度扩散机制，将损失反向传播，同时更新网格顶点位置、全局变换以及每个高斯泼溅的属性（位置、旋转、尺度、颜色、不透明度）。
5. 按照三阶段时间表（2DGS→3DGS→2DGS）交替使用不同的渲染器和损失项。
  1. 阶段1（2DGS）：使用2DGS渲染器，利用其表面感知的梯度进行稳定、大步长的网格形变，实现粗略对齐。
  2. 阶段2（3DGS）：切换至3DGS渲染器，利用其全方向的梯度进行细致的体积“雕刻”，优化复杂和凹陷区域的几何。
  3. 阶段3（2DGS）：再次使用2DGS，施加法线一致性和深度失真损失，实现最终的表面一致性和物理合理性。
优化组件：
- 损失函数（见下文）。
- 梯度扩散与顶点重对齐：用于平滑、稳定地更新顶点位置。
- “走三角形”处理：轻量级策略，确保溅射在优化过程中始终附着在表面上。
后处理：获得变形后的网格及配套的高质量表面属性贴图，优化完成后，运行表面属性提取流程，为每个三角形面生成纹理贴图。

6. 特征提取（表面属性提取）

特征提取发生在优化完成之后，是一个专门的后处理流程，用于从已优化好的高斯溅射中“蒸馏”出表面属性。

投影模型：将每个三角形面视作一个局部的正交投影平面。对于面上的一个纹素（texel），沿面法线投射一条射线，计算与各个高斯溅射平面的交点。
贡献计算：利用2D高斯核计算每个溅射对该纹素的贡献（alpha值）。
体渲染合成：类似于渲染过程，根据alpha值对溅射的颜色、位移、法线属性进行体渲染混合，最终得到该纹素在漫反射贴图 $T$ 、位移贴图 $D$ 和法线贴图 $N$ 上的值。
纹理图优化：增加一个轻量级的纹理细化步骤，通过将纹素重投影到多视角图像并最小化颜色误差，来提升贴图的一致性和质量。
加速：使用并行计算（每个三角形面一个线程块）来加速整个属性图的生成。

高斯到网格的转换方法

DeMapGS 的高斯-网格转换并非直接生成网格面片，而是将高斯指定到网格并烘焙属性，具体流程如下：

高斯指定到网格面片
- 对初始模板网格的每个三角面片，在其表面初始化 2D 高斯，高斯的均值 $m$ 约束在面片所在平面内，旋转 $R$ 与面片法线对齐；对复杂区域补充 3D 高斯，其均值 $m$ 在面片附近的 3D 空间，旋转 $R$ 适配局部几何。
- 锚定约束：高斯的位置梯度会传递到所属面片的顶点，实现“网格动、高斯随动”的联合变形。
纹素-高斯的投影与坐标转换

对于网格 UV 空间的每个纹素 $eta_j$ （第 $j$ 个三角面片的重心坐标），其世界空间位置为：

\hat{p}_j = \sum_{m=1}^3 \hat{eta}_{jm}