注意力模块

article/2025/10/29 15:28:54

 目前主流的注意力机制可以分为以下三种：通道注意力、空间注意力以及自注意力（Self-attention）

  • 通道域旨在显示的建模出不同通道之间的相关性，通过网络学习的方式来自动获取到每个特征通道的重要程度，最后再为每个通道赋予不同的权重系数，从而来强化重要的特征抑制非重要的特征。
  • 空间域旨在提升关键区域的特征表达，本质上是将原始图片中的空间信息通过空间转换模块，变换到另一个空间中并保留关键信息，为每个位置生成权重掩膜（mask）并加权输出，从而增强感兴趣的特定目标区域同时弱化不相关的背景区域。（以CBAM代表）
  • 混合域主要是共同结合了通道域、空间域等注意力的形式来形成一种更加综合的特征注意力方法。

一、ECA 注意力模块
ECA 注意力模块，它是一种通道注意力模块；常常被应用与视觉模型中。支持即插即用，即：它能对输入特征图进行通道特征加强，而且最终ECA模块输出，不改变输入特征图的大小。

背景：ECA-Net认为：SENet中采用的降维操作会对通道注意力的预测产生负面影响；同时获取所有通道的依赖关系是低效的，而且不必要的；
设计：ECA在SE模块的基础上，把SE中使用全连接层FC学习通道注意信息，改为1*1卷积学习通道注意信息；通过 一维卷积 layers.Conv1D 来完成跨通道间的信息交互，卷积核的大小通过一个函数来自适应变化，使得通道数较大的层可以更多地进行跨通道交互。
作用：使用1*1卷积捕获不同通道之间的信息，避免在学习通道注意力信息时，通道维度减缩；降低参数量；（FC具有较大参数量；1*1卷积只有较小的参数量）
模块的结构：

 ECA模型的流程思路如下:

  • 首先输入特征图，它的维度是H*W*C；
  • 对输入特征图进行空间特征压缩；实现：在空间维度，使用全局平均池化GAP，得到1*1*C的特征图；
  • 对压缩后的特征图，进行通道特征学习；实现：通过1*1卷积，学习不同通道之间的重要性，此时输出的维度还是1*1*C；
  • 最后是通道注意力结合，将通道注意力的特征图1*1*C、原始输入特征图H*W*C，进行逐通道乘，最终输出具有通道注意力的特征图。

FC全连接层时，对输入的通道特征图处理，是进行全局学习的；

如果使用1*1卷积，只能学习到局部的通道之间的信息；

在做卷积操作时，它的卷积核大小，会影响到感受野；为解决不同输入特征图，提取不同范围的特征时，ECA使用了动态的卷积核，来做1*1卷积，学习不同通道之间的重要性。

  • 动态卷积核是指：卷积核的大小通过一个函数来自适应变化；
  • 在通道数较大的层，使用较大的卷积核，做1*1卷积，使得更多地进行跨通道交互；
  • 在通道数较小的层，使用较小的卷积核，做1*1卷积，使得较少地进行跨通道交互；
     

 卷积和自适应函数，定义如下：

  其中k表示卷积核大小；C表示通道数；| |odd表示k只能取奇数；\gamma和b表示在论文中设置为2和1,用于改变通道数C和卷积核大小和之间的比例。

# --------------------------------------------------------- #
#（2）ECANet 通道注意力机制
# 使用1D卷积代替SE注意力机制中的全连接层
# --------------------------------------------------------- #import torch
from torch import nn
import math
from torchstat import stat  # 查看网络参数# 定义ECANet的类
class eca_block(nn.Module):# 初始化, in_channel代表特征图的输入通道数, b和gama代表公式中的两个系数def __init__(self, in_channel, b=1, gama=2):# 继承父类初始化super(eca_block, self).__init__()# 根据输入通道数自适应调整卷积核大小kernel_size = int(abs((math.log(in_channel, 2)+b)/gama))# 如果卷积核大小是奇数，就使用它if kernel_size % 2:kernel_size = kernel_size# 如果卷积核大小是偶数，就把它变成奇数else:kernel_size = kernel_size# 卷积时，为例保证卷积前后的size不变，需要0填充的数量padding = kernel_size // 2# 全局平均池化，输出的特征图的宽高=1self.avg_pool = nn.AdaptiveAvgPool2d(output_size=1)# 1D卷积，输入和输出通道数都=1，卷积核大小是自适应的self.conv = nn.Conv1d(in_channels=1, out_channels=1, kernel_size=kernel_size,bias=False, padding=padding)# sigmoid激活函数，权值归一化self.sigmoid = nn.Sigmoid()# 前向传播def forward(self, inputs):# 获得输入图像的shapeb, c, h, w = inputs.shape# 全局平均池化 [b,c,h,w]==>[b,c,1,1]x = self.avg_pool(inputs)# 维度调整，变成序列形式 [b,c,1,1]==>[b,1,c]x = x.view([b,1,c])# 1D卷积 [b,1,c]==>[b,1,c]x = self.conv(x)# 权值归一化x = self.sigmoid(x)# 维度调整 [b,1,c]==>[b,c,1,1]x = x.view([b,c,1,1])# 将输入特征图和通道权重相乘[b,c,h,w]*[b,c,1,1]==>[b,c,h,w]outputs = x * inputsreturn outputs

二 、SENet
SE注意力机制（Squeeze-and-Excitation Networks）在通道维度增加注意力机制，关键操作是squeeze和excitation。

通过自动学习的方式，使用另外一个新的神经网络，获取到特征图的每个通道的重要程度，然后用这个重要程度去给每个特征赋予一个权重值，从而让神经网络重点关注某些特征通道。提升对当前任务有用的特征图的通道，并抑制对当前任务用处不大的特征通道。

如下图所示，在输入SE注意力机制之前（左侧图C），特征图的每个通道的重要程度都是一样的，通过SENet之后（右侧彩图C），不同颜色代表不同的权重，使每个特征通道的重要性变得不一样了，使神经网络重点关注某些权重值大的通道。


SE注意力机制的实现步骤如下：

  • （1）Squeeze：通过全局平均池化，将每个通道的二维特征（H*W）压缩为1个实数，将特征图从 [h, w, c] ==> [1,1,c]
  • （2）excitation：给每个特征通道生成一个权重值，论文中通过两个全连接层构建通道间的相关性，输出的权重值数目和输入特征图的通道数相同。[1,1,c] ==> [1,1,c]
  • （3）Scale：将前面得到的归一化权重加权到每个通道的特征上。论文中使用的是乘法，逐通道乘以权重系数。[h,w,c]*[1,1,c] ==> [h,w,c]

 总结：

  1. SENet的核心思想是通过全连接网络根据loss损失来自动学习特征权重，而不是直接根据特征通道的数值分配来判断，使有效的特征通道的权重大。当然SE注意力机制不可避免的增加了一些参数和计算量，但性价比还是挺高的。
  2. 论文认为excitation操作中使用两个全连接层相比直接使用一个全连接层，它的好处在于，具有更多的非线性，可以更好地拟合通道间的复杂关联。
# -------------------------------------------- #
#（1）SE 通道注意力机制
# -------------------------------------------- #
import torch
from torch import nn
from torchstat import stat  # 查看网络参数# 定义SE注意力机制的类
class se_block(nn.Module):# 初始化, in_channel代表输入特征图的通道数, ratio代表第一个全连接下降通道的倍数def __init__(self, in_channel, ratio=4):# 继承父类初始化方法super(se_block, self).__init__()# 属性分配# 全局平均池化，输出的特征图的宽高=1self.avg_pool = nn.AdaptiveAvgPool2d(output_size=1)# 第一个全连接层将特征图的通道数下降4倍self.fc1 = nn.Linear(in_features=in_channel, out_features=in_channel//ratio, bias=False)# relu激活self.relu = nn.ReLU()# 第二个全连接层恢复通道数self.fc2 = nn.Linear(in_features=in_channel//ratio, out_features=in_channel, bias=False)# sigmoid激活函数，将权值归一化到0-1self.sigmoid = nn.Sigmoid()# 前向传播def forward(self, inputs):  # inputs 代表输入特征图# 获取输入特征图的shapeb, c, h, w = inputs.shape# 全局平均池化 [b,c,h,w]==>[b,c,1,1]x = self.avg_pool(inputs)# 维度调整 [b,c,1,1]==>[b,c]x = x.view([b,c])# 第一个全连接下降通道 [b,c]==>[b,c//4]x = self.fc1(x)x = self.relu(x)# 第二个全连接上升通道 [b,c//4]==>[b,c]x = self.fc2(x)# 对通道权重归一化处理x = self.sigmoid(x)# 调整维度 [b,c]==>[b,c,1,1]x = x.view([b,c,1,1])# 将输入特征图和通道权重相乘outputs = x * inputsreturn outputs

 构造输入层，查看一次前向传播的输出结果，打印网络结构

# 构造输入层shape==[4,32,16,16]   #4维tensor，各参数含义：[width, height, channels, kernel_nums]
inputs = torch.rand(4,32,16,16)
# 获取输入通道数
in_channel = inputs.shape[1]
# 模型实例化
model = se_block(in_channel=in_channel)# 前向传播查看输出结果
outputs = model(inputs)
print(outputs.shape)  # [4,32,16,16])print(model) # 查看模型结构
stat(model, input_size=[32,16,16])  # 查看参数，不需要指定batch维度

三.空洞卷积

 普通的卷积：

在这里插入图片描述

 空洞卷积：

在这里插入图片描述

 空洞卷积（Atrous Convolution）是 DeepLab 模型的关键之一，它可以在不改变特征图大小的同时控制感受野，这有利于提取多尺度信息。空洞卷积如下图所示，其中rate（r）控制着感受野的大小，r 越大感受野越大。通常的 CNN 分类网络的 output_stride=32，若希望 DilatedFCN 的 output_stride=16，只需要将最后一个下采样层的 stride 设置为1，并且后面所有卷积层的 r 设置为 2，这样保证感受野没有发生变化。对于 output_stride=8，需要将最后的两个下采样层的 stride 改为 1，并且后面对应的卷积层的 rate 分别设为 2 和 4。另外一点，DeepLabv3 中提到了采用 multi-grid 方法，针对 ResNet 网络，最后的 3 个级联 block 采用不同 rate，若 output_stride=16 且 multi_grid = (1, 2, 4), 那么最后的 3 个 block 的 rate= 2 · (1, 2, 4) = (2, 4, 8)。这比直接采用 (1, 1, 1) 要更有效一些，不过结果相差不是太大。



http://chatgpt.dhexx.cn/article/oAWTAgxy.shtml

相关文章

注意力机制学习

注意力机制学习

注意力机制学习 学习于博客https://blog.csdn.net/weixin_44791964/article/details/121371986 1.Channel Attention 1.1 SeNet 对于输入进来的特征层，关注其每一个通道的权重，让网络关注它最需要关注的通道。【channel不变，h,w变】 代表…
阅读更多...
一般注意力模型

一般注意力模型

文章目录 一般注意力模型注意力输入注意力输出 一般注意力模型 描述一般注意力模型，首先要描述可以使用注意力的模型的一般特征。我们将这种模型称为任务模型，如图： 这个模型接受一个输入，执行指定的任务，然后产生所…
阅读更多...
深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

深度学习中的注意力机制模型及代码实现(SE Attention、CBAM Attention)

目录 常用的注意力机制模型 SE Attention CBAM Attention CBAM Attention 模型结构​ CBAM Attention 代码实现（Pytorch版）： 注意力机制加到网络的哪里合适 常用的注意力机制模型 常用的注意力机制多为SE Attention和CBAM Attention。它…
阅读更多...
深度学习笔记——Attention Model（注意力模型）学习总结

深度学习笔记——Attention Model（注意力模型）学习总结

深度学习里的Attention model其实模拟的是人脑的注意力模型，举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑…
阅读更多...
什么是注意力机制？

什么是注意力机制？

Attention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被证明有益于提高模型的性能。 Attention机制本身也是符合人脑和人眼的感知机制，这次我们主要以计算机视觉领域为例，讲述Attention机制的原理&#xff0c…
阅读更多...
transformer 模型（self-attention自注意力）

transformer 模型（self-attention自注意力）

transformer模型在《Attention is all you need》论文中提出 这篇论文主要亮点在于：1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。2）提出了多头注意力（…
阅读更多...
深度学习中的注意力机制模型ECANet

深度学习中的注意力机制模型ECANet

目录 ECANet简介 ECA Module ECANet 性能对比 ECANet简介 Efficient Channel Attention Module 简称 ECA，2020年 Qilong Wang等人提出的一种 高效通道注意力(ECA)模块 ； 提出了一种 不降维的局部跨通道交互策略 ，有效避免了降维对于通道…
阅读更多...
注意力模型直观理解（Attention Model Intuition）

注意力模型直观理解（Attention Model Intuition）

来源：Coursera吴恩达深度学习课程 本周的课程我们都在使用这个编码解码的构架（a Encoder-Decoder architecture）来完成机器翻译。当你使用RNN读一个句子，于是另一个会输出一个句子。注意力模型（the Attention Model&a…
阅读更多...
深度学习中的注意力机制

深度学习中的注意力机制

作者 | 张俊林 责编 | 何永灿 最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。 本文以机器翻译为例&…
阅读更多...
注意力模型---Attention Model

注意力模型---Attention Model

注意力模型---Attention Model 1、Soft Attention Mode1.1 什么是Soft Attention Mode1.1 公式介绍 2、四种注意力中的打分函数2.1 加性注意力（additive attention）2.2 点积注意力（multiplicative attention）与双线性注意力(MLB)2…
阅读更多...
【机器学习】关于注意力模型（Attention-model）的理解和应用

【机器学习】关于注意力模型（Attention-model）的理解和应用

注意力模型是近年来在序列处理领域新提出的机器学习方法，在语言翻译等领域取得了不错的效果。要想了解注意力模型，那么必须对现在的机器学习各领域有一定的了解，而且要了解encoder-decoder基本思想。 首先可以大致的概括下目前的机器学习尤其…
阅读更多...
一文读懂计算机视觉中的注意力机制原理及其模型发展

一文读懂计算机视觉中的注意力机制原理及其模型发展

作者&编辑 | 言有三 来源 | AI有道（ID:yanyousan_ai） 导读：Attention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被证明有益于提高模型的性能。Attention机制本身也是符合人脑和人眼的感知机制…
阅读更多...
注意力模型（Attention Model）理解和实现

注意力模型（Attention Model）理解和实现

1. 直观感受和理解注意力模型 在我们视野中的物体只有少部分被我们关注到，在某一时刻我们眼睛的焦点只聚焦在某些物体上面，而不是视野中的全部物体，这是我们大脑的一个重要功能，能够使得我们有效过滤掉眼睛所获取的大量无用的视觉…
阅读更多...
注意力模型（Attention Model）

注意力模型（Attention Model）

八月的第一天，苏神yyds！ 来源：Coursera吴恩达深度学习课程 在注意力模型直观理解中我们看到注意力模型如何让一个神经网络只注意到一部分的输入句子。当它在生成句子的时候，更像人类翻译。让我们把这些想法转化成确切的式子&…
阅读更多...
VOC 数据集格式的生成

VOC 数据集格式的生成

VOC 数据集格式的生成 准备好以下文件 images里放置图片 labels里面放置标签 注：前面两行必须是 ignore 和 background labelme2voc.py 里放入以下代码 #!/usr/bin/env pythonfrom __future__ import print_functionimport argparse import glob import os impo…
阅读更多...
voc数据集对有标签的数据集数据增强

voc数据集对有标签的数据集数据增强

voc数据集对有标签的数据集数据增强 安装依赖库和imgaug库Bounding Boxes实现读取原影像bounding boxes坐标生成变换序列bounding box 变化后坐标计算 使用示例数据准备设置文件路径设置增强次数设置增强参数修改xml文件中filename和path输出 完整代码 安装依赖库和imgaug库 在…
阅读更多...
目标检测：PASCAL VOC 数据集简介

目标检测：PASCAL VOC 数据集简介

一、简介 PASCAL VOC 挑战赛主要有 Object Classification 、Object Detection、Object Segmentation、Human Layout、Action Classification 这几类子任务 PASCAL 主页 与 排行榜PASCAL VOC 2007 挑战赛主页 、PASCAL VOC 2012 挑战赛主页 、PASCAL VOC Evaluation Server PA…
阅读更多...
VOC数据集介绍以及读取（目标检测object detection）

VOC数据集介绍以及读取（目标检测object detection）

VOC（Visual Object Classes）数据集是一个广泛使用的计算机视觉数据集，主要用于目标检测、图像分割和图像分类等任务。VOC数据集最初由英国牛津大学的计算机视觉小组创建，并在PASCAL VOC挑战赛中使用。 VOC数据集包含各种不同类别…
阅读更多...
Pascal VOC 数据集介绍

Pascal VOC 数据集介绍

介绍Pascal VOC数据集： Challenge and tasks， 只介绍Detection与Segmentation相关内容。数据格式衡量方式voc2007, voc2012 Challenge and tasks 给定自然图片， 从中识别出特定物体。 待识别的物体有20类： personbird, cat, c…
阅读更多...
VOC和COCO数据集

VOC和COCO数据集

一.Pascal VOC（Pascal Visual Object Classes） Pascal VOC网址：http://host.robots.ox.ac.uk/pascal/VOC/ 查看各位大牛算法的排名的Leaderboards：http://host.robots.ox.ac.uk:8080/leaderboard/main_bootstrap.php 训练/验证数…
阅读更多...
推荐文章

Copyright @ 2022~2023