一：图像金字塔

图像金字塔是图像中多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔实际上是一张图片在不同尺度下的集合，即原图的上采样和下采样集合。金字塔的底部是高分辨率图像，而顶部是低分辨率图像。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

生成图像金字塔主要包括两种方式：向下取样和向上取样。

向上采样：（PyrUp）

1、将图像的行和列都扩大为原图的2倍，其中偶数行用0填充
2、用与下采样相同的高斯核（乘4）对扩充后的图进行卷积
如上步骤，上采样后图片扩大为原图的4倍

向下采样：（PyrDown）

1、用高斯核（高斯滤波）对图像进行卷积
2、将卷积结果中的偶数行、列都去掉
如上步骤，下采样结果为原图大小的1/4

这里的向下与向上采样，是对图像的尺寸而言的（和金字塔的方向相反），向上就是图像尺寸加倍，向下就是图像尺寸减半。而如果我们按上图中演示的金字塔方向来理解，金字塔向上图像其实在缩小，这样刚好是反过来了。

图像金字塔分为：高斯图像金字塔和拉普拉斯图像金字塔

1.1高斯图像金字塔

高斯金字塔是通过高斯平滑和亚采样获得一些列下采样图像，也就是说第K层高斯金字塔通过平滑、亚采样就可以获得K+1层高斯图像，每层是按从下到上编号的。

1.2拉普拉斯图像金子塔

前面提到的均是高斯金字塔(使用高斯核)，下面介绍拉普拉斯(Laplacian) 金字塔，拉普拉斯(Laplacian) 金字塔是在高斯金字塔的基础上新的金字塔。

下面是拉普拉斯金字塔的表达式：

$L_{i}=G_{i} - PyrUp(PyrDown(G_{i+1}))$

其中 $G_{i}$ 是原始图像， $L_{i}$ 是拉普拉斯金字塔图像，PyrUp和PyrDown是上采样和下采样过程，是Opencv中的函数。

下面从图像上直观的理解一下：

从上图可以看出，图像先通过高斯滤波平滑处理，然后下采样（PyrDown）得到高斯金字塔。然后用高斯金子塔上一层的图像减去高斯金字塔下一层图像上采样（PyrUp）得到的图像，这样便得到拉普拉斯金字塔图像了。

也就是说，拉普拉斯金字塔是通过源图像减去先缩小后再放大的图像的一系列图像构成的。保留的是残差！为图像还原做准备！

注意：

本文说的是一种比较老的尺度表示方法是图像金字塔。金字塔是结合上下采样操作和平滑操作的一种图像表示方式。它的一个很大的好处是，自下而上每一层的像素数都不断减少，这会大大减少计算量；而缺点是自下而上金字塔的量化变得越来越粗糙，而且速度很快。（需要强调的是，这里的金字塔构造方法和小波金字塔的构造方法是类似的，对某一层的图像进行平滑之后，再做降采样，平滑目的是为了降采样后的像素点能更好的代表原图像的像素点，与多尺度表示中的平滑完全不是一个目的），这和SIFT中的图像金子塔不一太样，SIFT中的图像金字塔每一层有很多图像，不止一副图像。

二：特征金字塔

特征金字塔是用于检测不同尺度的对象的识别系统中的基本组件。其提出是为了解决小目标随着下采样信息丢失，目标检测精度不高的问题。

FPN由自下而上和自上而下两部分构成.

自下而上的就是传统的卷积网络做特征提取,随着卷积的深入,空间分辨率减少,空间信息丢失.但是高级语义信息被更多地检测到.

自下而上的就是不断的上采样，然后和下采样的特征图进行融合，得到具有更多语义信息和位置信息的特征图，这样更有利于目标检测。

图1：(a)用一个图像金字塔来构建一个特征金字塔。在每个图像尺度上独立地计算特征，很慢。(b)最近的检测系统选择使用于更快速的检测的单尺度特征。(c)通过卷积层重复利用金字塔式的特征层次结构。(d)这里提出的特征金字塔网络(RPN)，和(b)(c)一样快，但是更准确。这张图中，特征图通过蓝框表示，越粗的轮廓表示语义越强。

对于图（d）侧边之间的横向连接是将上采样的结果和自下而上生成的特征图进行融合。我们将卷积神经网络中生成的对应层的特征图进行1×1的卷积操作，将之与经过上采样的特征图融合，得到一个新的特征图，这个特征图融合了不同层的特征，具有更丰富的信息。这里1×1的卷积操作目的是改变channels，要求和后一层的channels相同。在融合之后还会再采用3*3的卷积核对每个融合结果进行卷积，目的是消除上采样的混叠效应，如此就得到了一个新的特征图。这样一层一层地迭代下去，就可以得到多个新的特征图。

图像金字塔是对传统图像处理来讲的，特征金字塔是针对深度学习来讲的。