提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
目录
创新点
实施细节
对比sparse_RGBD
tips
方法详解
损失函数
优缺点
总结
创新点
1.提出了基于贝叶斯理论的两步法网络做深度补全
文章概述
提出了两步法，实际上关键是先验模型，结合假设深度图d下观察到的稀疏点云z的可能性模型计算的，为了得出后验概率，并由此得出基准评估深度图的最大后验概率（MAP）估计：
1.我们没有为稀疏输入使用专门设计的层，例如稀疏不变层。
2.与稀疏深度和图像的早期融合不同，我们的深度将融合推迟到解码，这需要更少的可学习参数
3.使用的还是resnet
实施细节
1.我们通过用密集深度图替换编码分支的输入来修改CPN[36]的公共实现。两个分支的融合只是编码的串联。编码器只有卷积层，而解码器由用于上采样的转置卷积层组成
2.学习后，我们将CPN作为训练损失的一部分，在推理过程中不需要它
3.使用虚拟KITTI数据集[11]训练CPN
4.使用张量流实现了我们的方法。我们使用Adam优化我们的网络，使其具有与CPN训练相同的批量大小和学习速率调度。我们应用直方图均衡，并将图像随机裁剪到768×320。此外，我们还应用了垂直和水平随机翻转来防止过度拟合。在无监督训练的情况下，我们还在3×3邻域内对稀疏深度输入和相应的有效性映射执行随机移位。
5.有监督方法变为无监督方法时，改变了网络结构，我们将第一层的步长从1更改为2，并用最近邻上采样替换解码器的最后一层。
对比sparse_RGBD
1.他将深度补全任务放大称为数据补全（图像修复）
2.Spade_RGBD提出晚期融合模型更早，但他用这种晚期融合模型是为了稀疏深度图下语义分割效果更好
3.缺点：该编码器-解码器在稀疏深度上表现出可接受的性能，但未能从密集RGB中提取良好的特征。
4.对于稀疏卷积：掩模饱和（视为有效的百分比）如预期的那样随输入密度而增加，但仅在几层之后就达到几乎完全饱和，这意味着有效性信息在后面的层中很快丢失。
5.对于早期融合模型：为了同时从两者进行推理，似乎最好在融合之前将其转换为类似的特征空间
早期融合有没有解决这个问题？
tips
训练CPN数据集：
Gaidon A, Wang Q, Cabon Y, et al. Virtual worlds as proxy for multi-object tracking analysis[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 4340-4349.
文章贡献：
1.介绍了生成虚拟世界视频数据集的方法
2.创建了虚拟的kitti数据集
3.比较了真实世界和虚拟世界在学习深度模型上的有效性
4.因为是虚拟的世界，可以人为的加入干扰条件（雨雾等）进行实验
监督DCN的数据集：
Uhrig J, Schneider N, Schneider L, et al. Sparsity invariant cnns[C]//2017 international conference on 3D Vision (3DV). IEEE, 2017: 11-20.
来自文章里的方法对稀疏深度补全后的kitti数据集，ground truth深度图获取的一种方法是用数据集进行重建，渲染，然后得到获取补全后的depth图像作为真值.
我们进一步遵循[16]并累积11次激光扫描，以增加生成深度图的密度
方法详解
A：上分支对密集深度进行编码，并与图像编码相连，以在解码器处生成深度的密集重建，以及可作为后验分数的归一化似然。我们将CPN视为一个函数，在给定图像（下分支输入）的情况下，该函数将任何样本假设深度图（上分支输入）映射为正实数，该实数表示给定图像的输入密集深度图的条件概率先验。
CPN网络作用是学习先验概率，即图像对应其稠密深度值的这种映射关系，然后网络的输出为重建的稠密深度，此时的输出可以当作用于计算后验概率的似然，由于似然相当于给计算概率加上了参数，所以CPN网络的输出也就作为这个参数进行后续的计算。
B：它具有对称的两个分支结构，每个分支对不同类型的输入进行编码：一个是稀疏深度，另一个是图像；为两个分支启用跳过连接。与稀疏深度和图像的早期融合不同，我们的深度将融合推迟到解码，这需要更少的可学习参数。
DCN网络属于有监督方法，监督信号来自稀疏卷积论文中，通过累计相邻稀疏激光雷达测量值生成的，但实际密度只有图像域的30%
CPN目的为了得到先验概率和归一化似然，本质是无监督
DCN目的得到最终的后验概率，方法是有监督的
KITTI基准中“监督”和“非监督”之间的差异更多的是定量的，而不是定性的
下面是原始的CPN结构：
原始的CPN结构也是作者自己2018年提出的对光流的先验网络，属于无监督方法，学习P（f | I）的条件先验网络（CPN）体系结构：上半分支对ground truth光流进行编码，然后取图像和上半编码的输出重建f
损失函数
1.CPN网络的损失：
wCPN为CPN中的参数集合，wCPN（d，I）表示解码深度，重建误差与条件分布成比例
2.1有监督情况下的损失：
φ为稀疏深度和图像到密集深度的映射
2.2无监督情况下的损失
CPN等式（2）与假设深度图d下观察到的稀疏点云z的可能性模型相结合
损失函数为：
2.3视差监督
我们利用KITTI 2015立体声基准的手动清理训练集作为参考数据。我们利用深度和差异之间的强大关系。除了稀疏深度z和图像I之外，我们还得到了第二个图像I′，作为立体对的一部分，该图像被校正（标准预处理）为一阶，我们假设存在位移s=s（x），x∈ D因此
这是强度恒定约束，再将视差建模s=FB/d，其中F是焦距，B是摄像机的基线（光学中心之间的距离）。因此，我们可以从预测的密集深度d合成视差s，从而约束三维场景几何体的恢复。更具体地说，我们将看到给定I，d的I′的可能性建模为
强度恒定约束受限制，再加入结构相似性SSIM，这种情况下的先验概率：
最后立体设置的损失：
我们使用Praw（I′|I，d）和Pssim（I′|I，d）分别表示在原始光度值和SSIM分数中测量的给定I，d的I′概率。其中ψc表示等式（9）中的原始强度总和项，ψs表示SSIM对应项。
优缺点
1.虽然勉强，但也算是在有监督和无监督都做了相应的实验，得到的结果都还可以
总结
这个文章对贝叶斯相关理论解释的挺好：先验概率、似然函数与后验概率 - jianguo_wang - 博客园 (cnblogs.com)
