论文：A Hierarchical Graph Network for 3D Object Detection on Point Clouds
论文地址：https://www.aminer.cn/pub/5eccb534e06a4c1b26a834c7?conf=cvpr2020
由于大多数现有的点云对象检测方法不能充分适应点云的特征（例如稀疏性），所以一些关键的语义信息（如物体形状）不能被很好的捕捉到。本文提出了一种基于层级图网络（HGNet）的图卷积（GConv），可以直接将点云作为输入来预测 3D 的边界框。形状注意图卷积（SA-GConv）可以通过剑魔点的位置星系来描述物体形状，基于 SA-GConv 的 U 形网络可以通过改进的 voting 模块获取多层级的特征进而生成候选，然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测。该框架在两个大规模点云数据上的表现超过了目前最先进的模型。
论文背景
由于点云的稀疏性，一些已有的为网格形式数据设计的方法（如CNN）在点云上的表现并不好，为解决这一问题，最近有一些对点云数据的方法被提出，例如基于投影的方法、基于体卷积的方法和基于 PointNet 的方法。前两种试图将点云数据严格转换为网格结构数据，而后一种则在不明确考虑点的几何位置的情况下聚合特征。
本文提出了一个基于图卷积（GCONV）的层级图网络（HGNet）用于基于点云的 3D 目标检测。HGNet 包含三部分：一个基于图卷积的 U 形网络（GUnet）、一个候选生成器以及一个候选推理模块（ProRe Module）。
本文的主要贡献如下：
（A）开发了一种新的层级图网络（HGNet），用于在点云上进行 3D 对象检测，其表现好于已有方法。
（B）提出了一种新颖的 SA-（De）GConv，它可以有效地聚合特征并捕获点云中对象的形状信息。
（C）构建了一个新的 GU-net，用于生成多级特征，这对于 3D 对象检测至关重要。
（D）利用全局信息，ProRe 模块通过对候选进行推理来提高效果。
融合采样
3D 目标检测有基于点和基于体素两种框架，前者更加耗时，由候选生成与预测细化两个阶段组成。
在第一个阶段，SA 用于降采样以获得更高的效率以及扩大感受野，FP 用来为降采样过程中丢掉的点传播特征。在第二阶段，一个优化模块最优化 RPN 的结果以获得更准确的预测。SA 对于提取点的特征是必需的。但 FP 和优化模块会限制效率。
形状注意图卷积
点云通常不能清楚地表示出物体的形状，可以使用其相邻点的相对几何位置来描述点周围的局部形状。本文介绍了一种新颖的形状注意图卷积，它通过对点的几何位置建模来捕获对象形状。
对于一个点集 X，其中每一个点由其集合位置 p_i 以及 D 维的特征 f_i 组成，我们想要生成一个 X’，本文设计了图卷积用于聚合从 X 到 X’ 的特征。与 PointNet++的采样层相类似，本文首先从 n 个点中采样 n’ 个点，通常 K 最近邻（KNN）被用来在采样中保留局部信息将其作为中心点特征。
其中 g 表示 i 和 j 的相对位置，通过一个卷积将三维变为一维，f 是 mlp，然后二者的乘积就是中心点的 knn，其中最大的作为 i 的特征。形状注意操作不同于简单的基于 mlp 的操作主要就是因为这个 g 函数。虽然形式上没有 attention 中的 softmax 这样的归一化，但是 g 的输出就和 attention一样，每个点的 weights，然后对应的乘以特征。
本文设计了一个下采样模块，并将其重复堆叠 4 次以形成下采样路径，而将一个上采样模块重复堆叠两次以构成上采样方式。类似 FPN、GU-net 生成三张点特征图的特征金字塔。下采样使用的是 FPS，然后通过KNN构建局部区域，再使用 SA-GConv 更新特征，上采样模块的过程与下采样模块的过程相反，主要由 SA-GConv 执行。
候选生成器
GU-net 生成了包含多级语义的三张点特征图。一些先前的方法（如 VoteNet）仅使用一个特征图进行目标预测。即使通过在上采样过程中融合较低层的特征来计算较高层的特征，由于不同层的特征提供了各种语义，因此将多层特征一起用于候选生成会更加有益。本文提出了一种候选生成器，以改进的投票模块作为主要结构来预测对象中心，该模型将多级特征转换为相同的特征空间。接下来为了聚合特征，通过 FPS 保留 Np 的投票，该做法与 VoteNet 类似，从而融合多级特征以预测边界框及其类别。
候选推理模块
通过以上几步，多层局部的语义信息已经被很好的捕捉到了，但全局信息还没有很好的学到，或者说可能有些目标在点云中只体现出很小的一部分表面的点，在这样少的信息下很难正确的将其识别出来。其推理过程为：
论文实验
结论
具体来说，作者提出了一种新颖且轻巧的形状注意图卷积来捕获局部形状语义，该语义聚合了点的相对几何位置的特征。基于 SA-GConv 和 SA-DeGConv 构建了 GU-net，生成了包含多级语义的特征金字塔。要素金字塔投票的点将位于相应的对象中心，并且进一步聚合多级语义以生成候选。然后使用 ProRe 模块在候选之间合并和传播特征，从而利用全局场景语义来提高检测性能。最后，对边界框和类别进行了预测。
