PointNet第4步——PointNet理解
前面，我们讲到了点云的挑战，针对点云的挑战，PointNet论文提出了下面的解决方案。
下面用到的PPT来源于PointNet作者本人，不得不说大佬还是大佬，介绍也十分清晰，下面附上祁芮中台大佬对近年来3D物体检测的介绍和讲解链接（ps:如果下面看不懂的话，可以先听一下大佬的讲解再来看）
祁芮中台-3D物体检测：https://www.shenlanxueyuan.com/channel/wJ9feOF9X1/detail
一、点云的解决方案
1.1置换不变性
设计的网络必须满足置换不变性，N个数据就有N!个置换不变性。而对称函数可以满足上述置换不变性，如下：
图来源于斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用
直接对数据做对称性操作，虽然满足置换不变性，容易丢失很多的几何和有意义的信息。比如取最大值时，只取得最远点，取平均值，只取得重心。
如何不损失
把每一点都映射到高维空间，在更高维空间再做对数据做对称性操作。高维的空间对三维点的表达来说，必定是信息冗余的，但是因为信息的冗余性，我们通过对称性操作综合，可以减少信息的损失，保留足够的点云信息。由此，就可以设计出这PointNet的雏形，称之为PointNet(vanilla)：
图来源于斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用
通过MLP将每个点投影到高维空间，通过max做对称性。
MLP为什么可以投影到高维空间（这个是针对小白的解释，点击此处）
PointNet可以任意的逼近对称函数（通过增加神经网路的深度和宽度）：
图来源于斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用
1.2旋转不变性（几何不变性）
旋转不变性指的是，通过旋转，所有的点（x,y,z）的坐标发生变化，但是代表的还是同一个物体，如下所示：
因此对于普通的PointNet(vanilla)，如果先后输入同一个但是经过不同旋转角度的物体，它可能不能很好地将其识别出来。在论文中的方法是新引入了一个T-Net网络去学习点云的旋转，将物体校准，剩下来的PointNet(vanilla)只需要对校准后的物体进行分类或者分割即可。
点云是一种非常容易做几何变换的数据，只需要通过矩阵的乘法即可。如下图所示，一个N×3的点云矩阵乘以一个3×3的旋转矩阵即可得到旋转变换后的矩阵，因此对输入点云学习一个3×3 的矩阵，即可将其矫正。
同样的将点云映射到K维的冗余空间后，再对K维的点云特征做一次校对，只不过这次校对需要引入一个正则化惩罚项，希望其尽可能接近于一个正交矩阵。【正则化是由于高维的空间优化较难，通过正则化可以减少优化的难度。】
总结：maxpooling解决置换不变性（无序性）问题，空间变换网络解决旋转不变性问题
二、PointNet
点云的分类网络：
图来源于斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用*
具体来说，对于每一个N×3的点云输入，网络先通过一个T-Net将其在空间上对齐（旋转到正面），再通过MLP将其映射到64维的高维空间上，再64维空间再进行对齐，最后映射到1024维的空间上。这时对于每一个点，都有一个1024维的向量表征，而这样的向量表征对于一个3维的点云明显是冗余的，因此这个时候引入最大池化max pool操作，将1024维所有通道上都只保留最大的那一个，这样得到的1×1024的全局特征。全局特征在通过一个级联全连接网络（即为最后一个MLP），最后达到一个K分类结果。
点云的分割网络：
图来源于斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用*
点云的分割可以定义成一个对每一个点的分类问题，如果知道每个点的分类的，就可以对这个点进行固定类别的分割。当然，我们通过全局坐标是没法直接对每个点进行分割。一个简单又有效的做法就是，我们可以把局部的特征，单个点的特征和全局的坐标结合起来，实现分割的功能。用最简单的做法就是，我们可以把全局的特征，进行重复N遍，然后每一个和原来的单个点的特征连接在一起。【插入的解释：上述讲到将局部特征和全局特征结合起来（64+1024=1088），所以就不难解释1088的由来。现在，单个点就具有1088维度。】相当于单个点在全局特征中进行了一次检索（即为单个点去全局特征中看“我”在这个全局特征中处于哪一个位置，“我”应该属于哪一类？）。我们就对每一个连接起来的特征又进行另外一个MLP的变化，最后把它每个点分类成M类，相当于输出M个score。
三、PointNet实验结果
下述实验结果均来源于斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用*
从上述实验结果：pointnet当时不论是分割还是分类的结果都超过了当时的体素系列网络，同时由于参数少等特点，训练快，属于轻量级网络。
PointNet适用于手机等移动设备。
PointNet具有鲁棒性，对点的丢失不敏感：
论文发现，能够最大程度激活网络的点都是物体的主干点（下图第二行），将其上采样，很容易能得到原始的结构。因此这就是PointNet网络的缺失鲁棒性的来源。
