内华达大学里诺分校

在嵌入式处理器设备上(飞行器)达到了毫秒级执行时间, 使用的激光雷达型号 :　 OUSTER OS1-64 （图像尺寸2048×10），OUSTER OS0-128（图像尺寸2048×10）
这种激光雷达可以提供的信息包括: 距离, 强度, 反射率(表面属性)以及环境的近红外成像(环境中红外源的图像)
本文融合了上述几种数据源,将激光雷达作为新型相机, 在其上进行语义分割,然后在最显著的目标上进行检测\分类\识别等, 因而降低了计算量。

本文方法

概述：

1. 使用四种数据图像（距离, 强度, 反射率以及环境的近红外成像）作为独立的数据源
2. 对每个数据，使用图像金字塔在不同尺度下及进行处理
3. 将得到的四个输出合成一个， 得到显著性图。
   

A. LiDAR Imaging-based Saliency

本文中，作者将基于点云柱面图的显著性定义为 不与特定任务相关的的显著性，因而使以自下而上方式驱动的。

1. Feature Channels

首先计算点云图像：
[$I_L$, $R_L$,$A_L$,$D_L$]： intensity, reflectivity, ambient NIR　以及　depth (range) images
上述图像作为图像金字塔输入图像的各个通道。

2. Image Pyramids

对于每个通道(即$I_{\ell },R_{\ell },A_{\ell },D_{\ell }$)，使用高斯平滑计算孪生金字塔特征图： center image： ${\mathbf{C}}_{\ell }=\left[{\mathbf{c}}_{\ell ,0},\dots ,{\mathbf{c}}_{\ell ,L}\right]$ 以及 surround image: ${\mathbf{S}}_{\ell }=\left[{\mathbf{s}}_{\ell ,0},\dots ,{\mathbf{s}}_{\ell ,L}\right]$。
$$G(u,v)=\frac{1}{2\pi {\sigma }_x^2}{e}^{-\frac{u^2+v^2}{2{\sigma }_x^2}},[u,v]\to \text{ pixel coordinates }$$
$其中\sigma_x = \sqrt{\sigma_s^2 - \sigma_c^2}, \sigma_s是surround \ image \ s^i_k 的平滑因子，\sigma_c \ is\ the\ value\ to\ obtain\ the\ center\ image \ c^i_k $
这样就得到了每个特征通道的孪生金字塔图像:
[ C ℓ κ , S ℓ κ ] , κ → { I ℓ , R G ℓ , B Y ℓ , T ℓ } \left[\mathbf{C}_{\ell}^{\kappa}, \mathbf{S}_{\ell}^{\kappa}\right], \kappa \rightarrow\left\{I_{\ell}, R G_{\ell}, B Y_{\ell}, T_{\ell}\right\} [Cℓκ​,Sℓκ​],κ→{Iℓ​,RGℓ​,BYℓ​,Tℓ​}
然后对于孪生金字塔中的每层图像，计算两种相反的对比度：
$$\begin{array}{ll}{\mathbf{X}}_{\ell ,\mathbf{i}}^{\kappa }={\mathbf{c}}_{\ell ,\mathbf{i}}^{\kappa }-{\mathbf{s}}_{\ell ,\mathbf{i}}^{\kappa }& (\text{ on-off contrasts })\\ {\mathbf{Y}}_{\ell ,\mathbf{i}}^{\kappa }={\mathbf{s}}_{\ell ,\mathbf{i}}^{\kappa }-{\mathbf{c}}_{\ell ,\mathbf{i}}^{\kappa }& (\text{ off-on contrasts })\end{array}$$
然后通过将对比度图像跨尺度连接得到特征图：
F ℓ , on-off  κ = ⊕ i X ℓ , i κ , i ∈ { 1 , … , L } F ℓ , off-on  κ = ⊕ i Y ℓ , i κ , i ∈ { 1 , … , L } \begin{aligned} \mathcal{F}_{\ell, \text { on-off }}^{\kappa} &=\oplus_{i} X_{\ell, i}^{\kappa}, i \in\{1, \ldots, L\} \\ \mathcal{F}_{\ell, \text { off-on }}^{\kappa} &=\oplus_{i} Y_{\ell, i}^{\kappa}, i \in\{1, \ldots, L\} \end{aligned} Fℓ, on-off κ​Fℓ, off-on κ​​=⊕i​Xℓ,iκ​,i∈{1,…,L}=⊕i​Yℓ,iκ​,i∈{1,…,L}​
整个图像金字塔步骤如下图所示：

3. Feature Fusion

最后，每个通道的特征图融合（加权平均）得到conspicuity maps（醒目图） ϵ ℓ κ , κ → { I ℓ , R ℓ , A ℓ , D ℓ } \epsilon_{\ell}^{\kappa}, \quad \kappa \rightarrow \left\{I_{\ell}, R_{\ell}, A_{\ell}, D_{\ell}\right\} ϵℓκ​,κ→{Iℓ​,Rℓ​,Aℓ​,Dℓ​}

根据醒目图加权平均得到最终的显著性图像$S_l$:
$${\mathcal{S}}_{\ell }=\mathrm{g}\left({ϵ}_{\ell }^I,{ϵ}_{\ell }^R,{ϵ}_{\ell }^A,{ϵ}_{\ell }^D\right)$$
然后对显著性图进行直方图均衡化，并消除低显着性值

B. Distance-based Saliency Thresholding

这步主要使用激光点云的距离信息，在原来显著性图的基础上去除距离较远的点，只关注于近距离的显著性区域。

论文这部分写的实在是不容易懂。。。。不保证理解的全部正确

实验结果：

分别在地面机器人和无人飞行器上做了实验，将显著性图可视化。
没有对比试验