FPN以及其他结构FPN——Bi-FPN重点（仅供自己学习使用）

article/2025/9/22 8:44:21

FPN
FPN特征金字塔结构。
由于目标检测中对小物体检测很困难，因为卷积过程中，大物体的像素点多，小物体的像素点少，随着卷积的深入，大物体的特征容易被保留，小物体的特征越往后越容易被忽略。所以产生了FPN结构。如下图就是FPN结构图。
在这里插入图片描述
其对特征点进行不断的下采样后，拥有了一堆具有高语义内容的特征层，然后重新进行上采样，使得特征层的长宽重新变大，用大size的feature map去检测小目标。
当然不可以简单只上采样，因为这样上采样的结果对小目标的特征与信息也不明确了，因此我们可以将下采样中，与上采样中长宽相同的特征层进行堆叠，这样可以保证小目标的特征与信息。和U-net结构很相似。但多了堆叠的过程。

Bi-FPN
在EfficientDet中提出了一种加权的双向特征金字塔网络，它允许简单和快速的多尺度特征融合。作者的目的是为了追求更高效的多尺度融合方式。

以往的特征融合是平等地对待不同尺度特征，作者引入了权重（类似于attentio
n），更好地平衡不同尺度的特征信息。
在论文中作者也有与其他FPN的对比。
在这里插入图片描述
FPN 引入了一条自顶向下的通道来融合特征；
PANet 在 FPN 基础上增加了一条自底向上的通道；
NAS-FPN 使用了搜索出来的不规则的拓扑结构。https://arxiv.org/abs/1904.07392

在搜索过程中，研究者的目标是发现具有相同输入和输出特征级别并且可以被重复应用的微粒架构。模块化搜索空间使得搜索金字塔架构变得易于管理。
但是它需要167M参数和3045BFLOPS（比RetinaNet[17]多30倍），模型尺寸巨大，计算成本昂贵。

下图是PANet，
在这里插入图片描述
为此，我们建立了一条从低层到高层的干净的横向连接路径。因此，在这些级别上有一个由少于10个层组成的快捷方式(图1中绿色虚线)。相比之下，FPN中的CNN主干提供了一条很长的路径(图1中虚线)，从底层到顶层甚至经过100多个层。

创新：
不同于其他的FPN结构（不同 resolution 的特征融合时直接相加），但实际上它们对最后 output 的贡献是不同的，所以作者希望网络来学习不同输入特征的权重，即 weighted feature fusion。
• PANet 的一种简化版，去除掉只有一条输入边和输出边的结点
• BiFPN ，在 PANet 简化版的基础上，若输入和输出结点是同一 level 的，则添加一条额外的边，在不增加 cost 的同时融合更多的特征。（注意， PANet 只有一条 top-down path 和一条 bottom-up path ，而本文作者是将 BiFPN 当作一个 feature network layer 来用的，重复多次。

在这里插入图片描述

由于不同的输入特征具有不同的分辨率，它们对输出特征的贡献通常是不相等的。为了解决这个问题，为每个输入添加额外的权重，并让网络了解每个输入特征的重要性。作者考虑了三种方法

在这里插入图片描述

###### 简单的注意力机制，用于确定更关注p5_up还是p4_in
p4_w1 = self.p4_w1_relu(self.p4_w1)
weight = p4_w1 / (torch.sum(p4_w1, dim=0) + self.epsilon)
p4_up = self.conv4_up(self.swish(weight[0] * p4_in_1 + weight[1] * self.p4_upsample(p5_up)))### # 简单的注意力机制，用于确定更关注p4_up还是p3_in
p3_w1 = self.p3_w1_relu(self.p3_w1)
weight = p3_w1 / (torch.sum(p3_w1, dim=0) + self.epsilon)
p3_out = self.conv3_up(self.swish(weight[0] * p3_in + weight[1] * self.p3_upsample(p4_up)))

代码部分主要是想看权重如何实现的。
总的来说 Bi-FPN相当于给各个层赋予了不同权重去进行融合，让网络更加关注重要的层次，而且还减少了一些不必要的层的结点连接。