2023/12/11 15:28

HumanGaussian开源：基于Gaussian Splatting，高质量 3D 人体生成新框架

在 3D 生成领域，根据文本提示创建高质量的 3D 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程，如 3D 人体模型回归、绑定、蒙皮、纹理贴图和驱动等。为了自动化 3D 内容生成，此前的一些典型工作（比如 DreamFusion [1] ）提出了分数蒸馏采样 (Score Distillation Sampling)，通过优化 3D 场景的神经表达参数，使其在各个视角下渲染的 2D 图片符合大规模预训练的文生图模型分布。然而，尽管这一类方法在单个物体上取得了不错的效果，我们还是很难对具有复杂关节的细粒度人体进行精确建模。

为了引入人体结构先验，最近的文本驱动 3D 人体生成研究将 SDS 与 SMPL 等模型结合起来。具体来说，一个常见的做法是将人体先验集成到网格（mesh）和神经辐射场（NeRF）等表示中，或者通过将身体形状作为网格 / 神经辐射场密度初始化，或者通过学习基于线性混合蒙皮（Linear Blend Skinning）的形变场。然而，它们大多在效率和质量之间进行权衡：基于 mesh 的方法很难对配饰和褶皱等精细拓扑进行建模；而基于 NeRF 的方法渲染高分辨率结果对时间和显存的开销非常大。如何高效地实现细粒度生成仍然是一个未解决的问题。

最近，3D Gaussian Splatting（3DGS）[2] 的显式神经表达为实时场景重建提供了新的视角。它支持多粒度、多尺度建模，对 3D 人体生成任务非常适用。然而，想要使用这种高效的表达仍有两个挑战：1) 3DGS 通过在每个视锥体中排序和 alpha - 混合各向异性的高斯来表征基于图块的光栅化，这仅会反向传播很少一部分的高置信度高斯。然而，正如 3D 表面 / 体积渲染研究所证实的那样，稀疏的梯度可能会阻碍几何和外观的网络优化。因此，3DGS 需要结构引导，特别是对于需要层次化建模和可控生成的人体领域。2）朴素的 SDS 需要一个较大的无分类器指导（Classifier-Free Guidance）来进行图像文本对齐（例如，在 DreamFusion [1] 中使用的 100）。但它会因过度饱和而牺牲视觉质量，使真实的人类生成变得困难。此外，由于 SDS 损失的随机性，3DGS 中原始的基于梯度的密度控制会变得不稳定，导致模糊的结果和浮动伪影。

在最近的一项工作中，香港中文大学、腾讯 AI Lab、北京大学、香港大学、南洋理工大学团队推出最新有效且快速的 3D 人体生成模型 HumanGaussian，通过引入显式的人体结构引导与梯度规范化来辅助 3D 高斯的优化过程，能够生成多样且逼真的高质量 3D 人体模型。目前，代码与模型均已开源。

arXiv: https://arxiv.org/abs/2311.17061
Webpage: https://alvinliu0.github.io/projects/HumanGaussian
Demo: https://www.youtube.com/watch?v=S3djzHoqPKY
Github&Code: https://github.com/alvinliu0/HumanGaussian

核心方法

（1）Structure-Aware SDS

研究者基于 SMPL-X 网格形状初始化 3D 高斯中心位置：1）以前的研究使用运动结构点（Structure-from-Motion）或 Shap-E [3] 和 Point-E [4] 等通用文本到点云先验。然而，此类方法通常在人体类别中存在点过于稀疏或身体结构不连贯等问题。2）作为 SMPL 的扩展，SMPL-X 补充了人脸和手部的形状拓扑，有利于进行具有细粒度细节的复杂人体建模。基于这些观察，研究者提出了在 SMPL-X 网格表面均匀采样点作为 3DGS 初始化。他们对 3DGS 进行缩放和变换，使其达到合理的人体尺寸并位于 3D 空间的中心。

由于 SMPL-X 先验仅用作初始化，因此需要更全面的指导来促进 3DGS 训练。研究者提出使用一个同时捕获纹理和结构联合分布的 SDS 源模型，而不是从仅学习外观或几何形状的单一模态扩散模型中学习 3D 场景。他们使用结构专家分支扩展预训练的 Stable Diffusion 模型，以同时对图像 RGB 和深度图进行去噪：

借助这种方式，研究者获得了一个统一的模型，可以捕获外观的图像纹理和前景 / 背景关系的结构，该模型可以在 SDS 中用于促进 3DGS 学习。

通过生成空间对齐图像 RGB 和深度的扩展扩散模型，可以从结构和纹理方面同时指导 3DGS 优化过程：

这种结构正则化有助于减少几何失真，从而有利于具有稀疏梯度信息的 3DGS 优化。

（2）Annealed Negative Prompt Guidance

为了促进文本与 3D 生成内容之间的对齐，DreamFusion [1] 使用较大的无分类器引导尺度来更新 3D 场景优化的分数匹配差异项：

在这个公式中，可以自然地将分数匹配差异分解为两部分，其中前一项是将图像推向更真实的流形的生成分数；后一项是将样本与隐式分类器对齐的分类器分数。然而，由于生成分数包含高方差的高斯噪声，它提供了损害训练稳定性的随机梯度信息。为了解决这个问题，DreamFusion 特地使用较大的无分类器引导尺度，使分类器分数主导优化，导致模式过度饱和。相反，研究者仅利用更清晰的分类器分数作为 SDS 损失。

在文生图和文生 3D 领域中，负文本被广泛用于避免生成不需要的属性。基于此，研究者提出增加负文本分类器分数以实现更好的 3DGS 学习。

根据经验，研究者发现负文本分类器分数会在小时间步长内损害质量，因此使用退火的负文本引导来结合两个分数进行监督：

实验结果

研究者与通用的文生 3D 和 3D 人体生成领域的模型进行对比。可以看到，HumanGaussian 取得了优越的性能，渲染出更真实的人体外观、更连贯的身体结构、更好的视图一致性、更细粒度的细节捕捉:

此外，研究者还通过消融实验验证了各个模块的有效性。可以看出，SMPL-X 提供的人体结构先验可以给 3DGS 优化提供初始化信息；负文本引导可以确保逼真的人体纹理外观；图像 RGB 与深度图双分支的 SDS 监督约束可以同时对人体的几何和纹理进行优化；最后根据高斯大小进行剪枝可以去除雾状的伪影：

以下是一些高清的多视角 3D 人体生成结果图：

更多样本请参考文章的项目主页以及 demo 视频。

总结与未来工作

本文提出 HumanGaussian，一种有效且快速的框架用于生成具有细粒度几何形状和逼真外观的高质量 3D 人体。HumanGaussian 提出两点核心贡献：

（1）设计了结构感知的 SDS，可以显式地引入人体结构先验，并同时优化人体外观和几何形状；

（2）设计了退火的负文本引导，保证真实的结果而不会过度饱和并消除浮动伪影。总体来说，HumanGaussian 能够生成多样且逼真的高质量 3D 人体模型，渲染出更真实的人体外观、更连贯的身体结构、更好的视图一致性、更细粒度的细节捕捉。

未来工作：

1. 由于现有的文生图模型对于手部和脚部生成的性能有限，研究者发现它有时无法高质量地渲染这些部分；

2. 后背视图的渲染纹理可能看起来模糊，这是因为 2D 姿势条件模型大多是在人类正面视图上训练的，而人类后视图的先验知识很少。

^参考文献

^{[1] Dreamfusion: Text-to-3d using 2d diffusion, ICLR’23}

^{[2] 3d gaussian splatting for real-time radiance field rendering, SIGGRAPH’23}

^{[3] Shap-e: Generating conditional 3d implicit functions, arXiv preprint arXiv: 2305.02463}

^{[4] Point-e: A system for generating 3d point clouds from complex prompts, arXiv preprint arXiv: 2212.08751}

工程HumanGaussian3D 生成

相关数据

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋（BOW）模型、语言模型（ngram）和主题模型。隐马尔可夫模型通常用于词性标注（POS）。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

来源：机器之心

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

规范化技术

规范化：将属性数据按比例缩放，使之落入一个小的特定区间，如-1.0 到1.0 或0.0 到1.0。通过将属性数据按比例缩放，使之落入一个小的特定区间，如0.0到1.0，对属性规范化。对于距离度量分类算法，如涉及神经网络或诸如最临近分类和聚类的分类算法，规范化特别有用。如果使用神经网络后向传播算法进行分类挖掘，对于训练样本属性输入值规范化将有助于加快学习阶段的速度。对于基于距离的方法，规范化可以帮助防止具有较大初始值域的属性与具有较小初始值域的属相相比，权重过大。有许多数据规范化的方法，包括最小-最大规范化、z-score规范化和按小数定标规范化。

来源：Jiawei Han;Micheline Kamber著数据挖掘概念与技术机械工业出版社

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/