Composited FishNet论文详解

article/2025/9/23 17:33:33

论文名称:Composited FishNet: Fish Detection and Species Recognition From Low-Quality Underwater Videos

Abstact

(研究问题的重要意义,现在存在的问题,引出研究内容,研究内容的好处,本文创新点,实验结果)

为了实现复杂水下环境下的鱼类识别和定位,本文提出了一种基于复合主干和增强路径聚合网络的复合鱼类检测框架——复合鱼网。通过对残差网络(ResNet)的改进,设计了一种新的复合骨干网络(CBresnet)来学习场景变化信息。

1. Introduction

(研究背景,应用背景引出理论背景,证明本文研究方向的必要性,为了解决上述提出的问题,本文进行了如下研究,有了何等的贡献)

主要贡献:

1. 在主流网络ResNet主干网络上增加了一个辅助网络(源域主干网络)来学习源域信息。利用相邻的高层合成将辅助网络与骨干网络连接起来,消除了复杂源域信息对目标特征的干扰,也有利于下一步特征信息融合。
2. 为了解决FPN网络中的线性上下采样不能有效利用主干网络输出的对象特征信息的问题。本文采用了像素混洗上采样的设计和较小的卷积核学习上采样信息。
3. 在损失函数的设计上,考虑了鱼类数量的巨大差异。为了使生成的正样本和负样本的比例接近1:3,损失函数在回归分类中使用focal loss函数,候选框损失函数使用Iou loss。
4. 使用组合主干网络的思想来学习水下源域信息,以提高目标特征提取的性能。

2. Related work

(目标检测背景,主干网络背景,评价指标)

陆地目标检测和水下目标检测主要区别:图像源域风格不同。当前主流目标检测缺乏对网络结构中源域信息的学习。复杂源域信息指:亮度、鱼类位置、海底结构、水生植物运动、鱼类形状和纹理差异引起的场景变化。
客服源域信息对目标的干扰有助于提高检测精度。
水下图像增强:视觉恢复无法提高该领域的检测性能,召回率相对较低,导致特征映射减少
骨干网络:Cascade RCNN的backbone:ResNet
加入辅助骨干网络,在不使用Fish的情况下学习源域的背景信息。通过up-conv的方法从上层骨干网络特征信息中减去学习到的背景特征,消除冗余背景特征信息。左高右低(相邻高层合成)特征信息融合更有利于增强目标特征信息。在FPN中,使用最邻近插值或者双线性插值。上采样核仅由像素的空间位置确定,不使用特征映射上的语义信息。
因此,本文将上采样改为像素混洗,更关注鱼的形状特征信息。(解决了线性上采样导致的特征语言信息利用不足的问题)

3. 提出的模型

(创新点)

A.模型网络结构
辅助主干网络被称为源域主干网络,用于学习源域的背景信息。
为消除复杂源域信息干扰,通过使用相邻高层合成方法,从主干中特征信息减去从辅助特征网络中学习的源域信息。利用骨干网络的目标输入加强特征信息,有利于特征信息融合。
不同的高底层特征融合后(EPAnet)将生成2000多个候选框,使用Cascade RCNN识别正负样本,对候选框过滤和分类。

B.主干网络的对比设计
本文使用组合主干网,在原有主干网的基础上增加源域主干网,可以自适应学习每个源域场景信息。通过辅助残差块网络学习的特征信息具有更高语义信息,高级特征语义信息和骨干网络特征信息的融合可以更好的挖掘图像中的目标信息。

C.特征网络的设计
任务:识别各种形状和大小的物体
解决方案:构造一个多尺度特征金字塔。利用卷积网络特点,构造不同大小的特征映射,实现高低语义信息的融合。
FPN引入自顶向下的通道,PANet在结构上优于FPN,增加了一个自底向上的通道。采样方法中仍使用线性插值,导致原始高级特征信息在上采样过程中再次丢失。
为提高骨干网络输出的高级和低级特征信息的利用率,采用跳转连接的方法来将骨干网络输出信息与EPAnet输出信息合并。
针对上采样不能很好的学习和重建高分辨率特征地图信息的问题,将PAnet中上采样的办法替换成PixelShuffle上采样方法。通过多通道融合,学习相邻像素,使重建的特征图像纹理信息更加丰富,而不是简单的线性插值。BiFPN使用跳连,但是BiFPN本质为高效主干网络设计,不适用ResNet。

D.损失函数
IoU loss将位置信息视为一个整体进行训练,最小二乘误差(I2)损失函数将其作为四个独立变量进行训练。
focal loss可以降低易分类样本权重,使训练模型在训练过程中更加关注难分类样本。

3. 实验

(数据集(水下问题说明)+对比+消融)

4. 结论

(本文提出了啥,实验结果我最好)

本文提出了一种组合模型(CBresnet50+EPANet),用于复杂水下环境中的鱼类识别和定位。在级联cadeR-CNN模型中加入辅助学习网络,消除冗余水下背景的干扰,从而提高骨干网络对目标信息的输出。此外,对原FPN结构的上采样方法转变为像素洗牌,更加关注鱼的形状特征信息,从而解决了线性上采样带来的特征信息利用不足的问题。实验结果表明,与之前的两阶段目标检测算法相比,该模型具有较高的AP和AR得分。在MS-COCO数据集中对AP和AR的评价下,AP、AP50和ARmax=10分别为75.2%、92.8%和81.1%。本文将组合主干网络的思想应用于水下源域信息的学习,有利于提高水下目标检测的精度,具有一定的实际应用效果。在未来,可以对网络模型进行进一步的优化,使其更加轻量级,同时保证了检测精度,并将该算法应用于其他领域。


http://chatgpt.dhexx.cn/article/kgUMWyK1.shtml

相关文章

利用ArcGIS处理土地利用数据:计算fishnet每个格网中不同地类的面积

前期准备:已经创建好的fishnet格网数据以及裁剪好的土地利用类型数据 创建渔网的过程就不讲了,创建渔网过程中可能遇见的问题在其他文章中也有讲到。我利用的土地利用类型数据是global30的数据。 首先将土地利用类型数据的属性表打开,添加一个…

Arcgis操作系列16-使用Arc Map创建渔网(fishnet)

1.目标:以生成一个范围包括黄陵县,格子大小为1000m的渔网为例。 2. 工具:Data Management Tools→Feature Class→Create Fishnet(数据管理工具---要素类---创建渔网) 3.步骤: (1)…

【ArcGIS风暴】ArcGIS 10.6创建规则格网(渔网fishnet)图文经典详解

GIS中常常需要地图分幅与编号,或者需要按照规则格网(三角网、矩形网等)去批量裁剪或提取矢量和栅格数据,相关内容可以参看下面的文章。本文主要详细讲解ArcGIS10.6软件中创建渔网的方法,为地图分幅或规则裁剪做好数据准备。 ArcGIS批量裁剪提取或分幅方法总结参考文章: 《…

FishNet网络结构阅读笔记

传统的残差网络,由于多了左边的卷积,导致像素不同,无法直接BP。而Fishnet的可以。 Figure2是FishNet的整体架构(鱼型,左边是尾巴右边是头),Tail、Body、Head。主要讲三部分的类型、作用。 Tail是…

ArcGIS基础实验操作100例--实验42创建渔网Fishnet

本实验专栏参考自汤国安教授《地理信息系统基础实验操作100例》一书 实验平台:ArcGIS 10.6 实验数据:请访问实验1(传送门) 高级编辑篇--实验42 创建渔网Fishnet 目录 一、实验背景 二、实验数据 三、实验步骤 (1&a…

fishnet:论文阅读与代码理解

fishnet:论文阅读与代码理解 一、论文概述二、整体框架三、代码理解四、总结 fishnet论文地址:http://papers.nips.cc/paper/7356-fishnet-a-versatile-backbone-for-image-region-and-pixel-level-prediction.pdf fishnet源码地址(pytorch版…

译文:FishNet

FishNet:用于图像、区域和像素级的多功能主干网络 摘要 对于预测不同层级的目标对象(如图像级、区域级和像素级),设计卷积神经网络(CNN)结构的基本原则具有多样性。一般来讲,专门为图像分类任务所设计的网…

范数--2范数/1范数/无穷范数

1、向量范数 2、矩阵范数 3、函数范数

OpenCV-Python教程:统计函数~L1、L2、无穷范数、汉明范数(norm,NORM_HAMMING2,NORM_HAMMING)

原文链接:http://www.juzicode.com/opencv-python-statistics-norm 返回Opencv-Python教程 1、什么是范数 下图是百度百科关于范数的定义: 从定义可以看到L1范数是所有元素的绝对值的和;L2范数是所有元素(绝对值)的平方和再开方&#xff1b…

H无穷范数、最大奇异值、灵敏度函数、扰动响应闭环传递函数、灵敏度积分、上下界

灵敏度函数是系统对扰动的响应,响应能力越弱越好,也就是灵敏度函数越小越好。一般可以通过一些方法使得在感兴趣的频率范围使得扰动响应小,可以用H无穷范数进行表达,通过权重函数的调节可以使得H无穷范数尽量在感兴趣的频率范围内设计的无限小。 Zame把SISO线性反馈系统的…

L2范数、无穷范数

一、向量的范数 首先定义一个向量为:a[-5,6,8, -10] 1.1 向量的1范数 向量的各个元素的绝对值之和,上述向量a的1范数结果就是:29 MATLAB代码实现为:norm(a,1)&#xf…

Django ORM中原生JSONField的使用方法

带你尝鲜Django最新版重要更新JSONField的使用 Django最新版v3.1的主要更新之一便是完善了对JSON数据存储的支持,新增models.JSONField和forms.JSONField,可在所有受支持的数据库后端上使用 目前支持的数据库以及对应版本主要有MariaDB 10.2.7,MySQL 5.7…

net.sf.json.JSONObject对象使用指南

1 简介 在程序开发过程中,在参数传递,函数返回值等方面,越来越多的使用JSON。JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,同时也易于机器解析和生成、易于理解、阅读和撰写,而且Json采用完全独立于语…

@JsonFormat、@JSONField、@DateTimeFormat详细解说

三者出处 1、JsonFormat来源于jackson,Jackson是一个简单基于Java应用库,Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。Jackson所依赖的jar包较少,简单易用并且性能也要相对高些&a…

Django JSONField类型操作解析

Django JSONField类型操作解析 模型代码设计正向查询与反向查询解析Json字段操作解析新增查询Json条件查询字段条件查询跨关系查询 修改删除 接口测试平台核心以Httprunner为接口用例运行框架,要将用例的数据持久化到数据库中,方便读取修改与存储&#x…

【java】属性别名:@JsonProperty和@JSONField的区别?【图文教程】

平凡也就两个字: 懒和惰; 成功也就两个字: 苦和勤; 优秀也就两个字: 你和我。 跟着我从0学习JAVA、spring全家桶和linux运维等知识,带你从懵懂少年走向人生巅峰,迎娶白富美! 关注微信公众号【 IT特靠谱 】,每一篇文章都是心得总结…

fastjson @JSONField format 不生效的原因

&#xff08;以下问题已在fastjson高版本优化<目前我用的是1.2.83版本>&#xff09; 在一次接手项目中发现&#xff0c;http接口返回json数据&#xff0c;Date类型的变量用JSONField format注解格式化不起作用。排查原因&#xff1a; 1&#xff09;查http接口序列化是不…

formdata和json

HTTP content-type Content-Type&#xff08;内容类型&#xff09;&#xff0c;一般是指网页中存在的 Content-Type&#xff0c;用于定义网络文件的类型和网页的编码&#xff0c;决定浏览器将以什么形式、什么编码读取这个文件&#xff0c;这就是经常看到一些 PHP 网页点击的结…

常用注解@JsonField、@JsonFormat、@DateTimeFormat区别

JsonFormat 该注解来源于jackson包中的注解&#xff0c;主要用来控制后端返回给前端的日期格式&#xff0c;通常用在返回给前端的实体类中。 案例如下&#xff1a; class User{private Integer id;JsonFormat(pattern”yyyy-MM-dd”,timezone”GMT8”)private Date birthday;…