最近在一次交流活动中，再次听别人讲人脸检测算法mtcnn，虽然以前也断断续续听过两次，对于一些技术细节仍不清楚，为了解决自己的困惑，笔者又重拾起这一算法，在认真研读论文和思考后有了新的理解，于是记录下来。下文主要解释mtcnn中min_face_size这个参数是怎么起作用的、如何使用图像金字塔等，希望能对大家有所帮助。
1 相关知识点
1.1 “network in network”
作为新加坡国立大学在2013年发表在CVPR上的一篇文章，它首次提出了“Global Average Pooling”，也即将feature map转换为score map。
1.2 OverFeat
该文章的全名为“OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks”。该方法是ILSVRC2013检测任务的冠军算法，这里重点介绍“how a multiscale and sliding window approach can be efficiently implemented within a ConvNet”。对于非全卷积网络，如果设置滑动窗口尺寸为 m × n m\times n m×n，那么对于更大的输入图像，必须对每一个滑动窗口，分别使用前向推理，这样比较耗时。全卷积网络中用 “Global Average Pooling”代替 “Fully Connected Layer”，所以网络的输入图像的尺寸可以任意。
由图可见，输出feature map的每一个空间位置，对应了输入图像的一个窗（感受野），并且，前向推理是对整个的feature map做卷积，所以所有滑动窗共享了计算量。
2 mtcnn
mtcnn，全称为“Multi-task Cascaded Convolutional Networks”，作为一种人脸检测和关键点（5个点）算法，它以速度快、精度高而广为人知。尽管后面有更好的人脸检测算法，比如FaceBoxes算法，但是mtcnn的精度已经能够满足通常的人脸检测要求，所以用的最广泛。
2.1 最小人脸尺寸
在解释最小人脸尺寸之前，先贴原文中的一幅网络结构图，
显然，P-Net是全卷积网络，且最小输入尺寸为 12 × 12 12\times 12 12×12。假设在推理阶段的输入图像尺寸为 100 × 100 100\times 100 100×100，构造图像金字塔，使得图像最小尺寸为 20 × 20 20\times 20 20×20，将不同尺寸的图像按照等比例缩放，原文中设置缩放因子为0.6，缩放后的图作为网络的输入，那么，最小尺寸的图像缩放后尺寸为 12 × 12 12\times 12 12×12，输出的特征图尺寸为 1 × 1 1\times 1 1×1，最大尺寸的图像缩放后尺寸为 60 × 60 60\times 60 60×60，输出的特征图尺寸为 25 × 25 25\times 25 25×25。根据上面1.2中的内容，输出特征图中的每一个点对应输入缩放图像的局部感受野尺寸为 12 × 12 12\times 12 12×12，映射到原图上的尺寸为 20 × 20 20\times 20 20×20。换句话说，P-Net等价于分别对金字塔中每一个尺度的图像，做基于滑动窗口的分类和目标检测任务，且窗口的尺寸为 20 × 20 20\times 20 20×20。当 100 × 100 100\times 100 100×100的输入图像中人脸区域很大时，取个极限，比如 100 × 100 100\times 100 100×100，那么可以基于金子塔中最小尺寸的图像 20 × 20 20\times 20 20×20做滑窗检测出人脸，当 100 × 100 100\times 100 100×100的输入图像中人脸区域很小时，只能基于金子塔中最大尺寸的图像 100 × 100 100\times 100 100×100做滑窗检测出人脸，此时检测出来的人脸尺寸为 20 × 20 20\times 20 20×20，综上可知，mtcnn算法根据预先设定的min_face_size参数，可以控制任意输入图像中能检测出的最小人脸尺寸。
2.2 Q&A
2.2.1 P-Net的bounding box regression任务分支，为什么是计算的相对偏移？
答：（1）帅同事提出了他的观点，相对坐标可以为任意值，本身不需要满足任何约束条件，回归起来更容易，比如回归值为 ( d x 1 , d y 1 , d x 2 , d y 2 ) (d_{x_{1}}, d_{y_{1}}, d_{x_{2}}, d_{y_{2}}) (dx1,dy1,dx2,dy2)，其中， ( x 1 , y 1 ) 、 ( x 2 , y 2 ) (x_{1}, y_{1})、(x_{2}, y_{2}) (x1,y1)、(x2,y2) 分别表示bounding box的左上角和右下角的坐标。笔者认为这种想法欠妥，因为回归值如果不满足一定的约束条件的话，也可能导致回归出不存在的bounding box。
（2）比较科学的解释，参考https://blog.csdn.net/zijin0802034/article/details/77685438。
2.2.2 P-Net的bounding box regression任务分支，得到的是相对偏移，是相对什么的偏移？
答：根据上面2.1中的解释，输出特征图中每一个像素对应输入图像的某一个滑窗，这里的偏移量即是相对于该滑窗的偏移。
2.2.3 mtcnn算法的训练和推理阶段，都要使用图像金字塔吗？
答：训练阶段不需要，推理阶段需要使用图像金字塔。训练的时候，需要对训练集中的每个样本缩放到 12 × 12 12\times 12 12×12的大小，用来训练全卷积网络。在推理的时候，因为测试图像中人脸区域的尺度未知，所以需要使用图像金字塔技术，增加人脸区域的召回率。
2.2.4 具体解释一下，为什么训练阶段不使用图像金字塔？
答：对多个尺度的输入图像做训练，训练是非常耗时的。因此通常只在推理阶段使用图像金字塔，提高算法的精度。
2.2.5 图像金字塔是用来解决什么问题的？
答：图像中目标的尺寸可能差异很大，以人脸图像为例，如果是人脸特写的图像，那么图像中的人脸尺寸就会较大，如果非特写，那么图像中的人脸尺寸就会较小。针对目标的多尺度问题，有多种解决方案，图像金字塔技术则为其中之一，其余的还有滑动窗口、特征金字塔、FPN结构等，参见下图。
参考资料：
https://arxiv.org/abs/1604.02878
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
