小样本物体检测

article/2025/10/16 11:24:10

Few-shot Object Detection via Feature Reweighting(MetaYOLO)

出发点:不同属性以不同的权重组合,可以定义一个类别,所以检测特征是否属于某一类,只要检测特征对属性的响应度就可以。特征 —> 属性 —> 类别
网络的整体框架:
在这里插入图片描述

  1. 通过Feature Extractor提取待检测图片特征,每个通道表示一个属性。
  2. 通过Reweighting Module提取查询类别的特征过滤器,如图中,每个值过滤一个属性。
  3. 使用每个类别的特征过滤器过滤待检测图片特征,得到待检测图片与每个类别的响应特征,每个通道表示一个属性。
  4. 对每个响应特征进行分类检测
  5. 完成检测

Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector

关键:提出了一个小样本数据集:数据集
在这里插入图片描述
步骤:

  1. 提取support img为一过滤特征
  2. 使用support img的特征来过滤query img,最后将过滤后的特征输入RPN网络中
  3. RPN网络层的输出,会进行多头判断,使用全局信息检测,使用局部信息检测,一对多检测

Attention-Based Region Proposal Network
在这里插入图片描述

Incremental Few-Shot Object Detection

目标:解决增量学习的小样本物体检测
关键点:参数预测的元学习;增量学习;CentreNet;
CentreNet是一个one-stage;anchor-free的物体检测器,并且每个类别对应一个检测类别,即每个类别对应一组分类参数,这种操作易于做小目标的增量学习。
在这里插入图片描述
步骤:

  1. 在第一阶段使用大量的base类训练网络的特征提取以及base类的分类器
  2. 在第二阶段,冻结特征提取模块的参数,基于base类构建大量task,以base类的分类参数作为label,使用元学习的方式训练分类参数生成器,在完成训练后class code generator模块能够根据少量的样本生成类别的分类参数。
  3. 完成训练

Multi-Scale Positive Sample Refinement for Few-Shot Object Detection参考

目标:解决小样本检测中的尺度分布不均衡问题;现有的特征金字塔与图像金字塔都不能很好的解决;
解决方案:通过在Faster-RCNN网络中融合改进的FPN网络,使模型整体能够捕捉不同触尺度的信息。换句话说,就是将图像金字塔与特征金字塔融合在小样本物体检测中

在这里插入图片描述
步骤:

  1. 通过在Faster R-CNN网络中加入FPN网络,使模型能够捕捉不同级别的特征。
  2. 使用Refinement Branch配合图像金字塔调整FPN网络,使模型能够捕捉不同图像尺度的特征。Refinement Branch的输入是同一物体不同尺度的图像,并且不同尺度与FPN不同级别的特征进行了强制捆绑。在这里插入图片描述
    对于3232的图像输入,使用FPN中的P2对原始RPN进行调整,使用P2对原始ROI进行调整*
  3. 最后,在完成训练后,FPN已经具备捕捉不同尺度目标的能力,Refinement Branch会被移除。(Refinement Branch与Faster R-CNN中的FPN是共享参数的)

Meta-RCNN: Meta Learning for Few-Shot Object Detection

关键词:元学习;小样本;Faster RCNN
在这里插入图片描述

  1. 构建Task,K-way,N-shot

  2. 使用Faster RCNN对Task中support-set中的图片提取候选框,理想情况下,每个候选框应该对应一个物体。

  3. 对每个support-set中的所有候选框,根据其对应的类别归类取平均,由此得到每个类别对应的的原型。参考Prototypical Networks
    在这里插入图片描述

  4. 使用同样的Faster RCNN提取query-img的特征,并用第三步得到的原型对其进行过滤,留下相关的特征,过滤掉无关的特征,最终会得到K个Class-specific Feature Map。
    在这里插入图片描述

  5. 将Class-specific Feature Map送入RPN网络,产生query-img对每个类别的候选框,在原始query-img特征上进行裁剪后,使用原型特征再度增强。

  6. 使用最后增强后的特征计算分类损失与回归损失。

Meta-Learning to Detect Rare Objects

关键点:基于参数预测的元学习;category-agnostic与category-speific参数
中心思想:将物体检测的参数分为category-agnostic与category-speific,前者在base类和novel类中通用,后者需要通过元学习来生成。
在这里插入图片描述

模型整体训练过程没整明白,总体来说就是,首先基于大量数据训练得到category-agnostic与category-speific两种参数,然后对category-agnostic在测试新类时可以直接使用。而新类的category-speific参数是通过元学习训练一个T模块得到。但是细节方面,着实搞不明白这篇论文。比较比较有意思的就是参数预测模块,使用这种方式的元学习相对来说在目标检测领域还是少的,可以借鉴。


http://chatgpt.dhexx.cn/article/jqsmVKRD.shtml

相关文章

自动驾驶:MOD 移动物体检测概述

MOD全称为Moving Object Detection,中文“移动物体检测”。主要的作用是泊车时,周围有人或物体经过探测区域被检测到给驾驶员声音和视觉提醒。 以NISSAN MOD为例说明下基于环视相机的MOD系统: nissan 官网:​​​​​​Moving O…

UGUI射线检测与普通物体检测

UGUI物体检测与普通物体检测有所不同(UGUI射线检测已经被封装好): 1.Graphic Raycaster 主要用于UI上的射线检测,挂有这个组件的物体,必须要挂上Canvas这个组件(当挂上Graphic Raycaster时Canvas也会自动挂上)。 Ig…

多物体检测 RCNN

基于R-CNN的物体检测 原文地址:http://blog.csdn.net/hjimce/article/details/50187029 作者:hjimce 一、相关理论 本篇博文主要讲解2014年CVPR上的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmentation》…

自动驾驶感知——激光雷达物体检测算法

文章目录 1. 基于激光雷达的物体检测1.1 物体检测的输入与输出1.2 点云数据库1.3 激光雷达物体检测算法1.3.1 点视图1.3.1.1 PointNet1.3.1.2 PointNet1.3.1.3 Point-RCNN1.3.1.4 3D-SSD1.3.1.5 总结和对比 1.3.2 俯视图1.3.2.1 VoxelNet1.3.2.2 SECOND1.3.2.3 PIXOR1.3.2.4 AF…

物体检测之YOLO系列

业界对于目标检测的热度只增不减,但目前的框架也难于逾越RCNN系列、SSD、YOLO系列这三座大山,很多新的方法也是在此基础上做一些改进,所以有必要做一些整理,方便自己后续查看,这里先对YOLO系列做一些整理。没看过文章的…

物体检测难点 (多尺度检测, 遮挡与拥挤)

目录 多尺度检测降低下采样率与空洞卷积Anchor 设计多尺度训练 (Multi Scale Training,MST)特征融合尺度归一化: SNIP (Scale Normalization for Image Pyramids)Image Classification at Multiple ScalesData Variation or Correct Scale?Object Detection on an …

点云物体检测简介

点击上方“3D视觉工坊”,选择“星标” 干货第一时间送达 本文由知乎作者Leon Wu授权转载,不得擅自二次转载。原文链接:https://zhuanlan.zhihu.com/p/81474133 深度学习的开始 人类的大脑是一个神秘的器官,它由无数的神经细胞组成…

物体检测

计算机视觉中目标检测、跟踪、识别是最基本的几个task,尤其又以检测最为重要和基础。同时基本上所有的检测任务都需要在给出物体的bounding box之后,给出物体的类别(也就是给识别物体),所以文章中不区分检测和识别任务…

实时3D物体检测

谷歌发布的MediaPipe Objectron,是一个可以实时检测3D物体检测的模型框架,先在2D图像上检测物体,然后估算出3D坐标。 尽管目前2D物体检测已经相对成熟,但3D检测仍然是个挑战性的问题,主要是缺少大量有效的数据用于训练…

物体检测实战:使用 OpenCV 进行 YOLO 对象检测

使用 OpenCV 进行 YOLO 对象检测 本文将教你如何使用YOLOV3对象检测器、OpenCV和Python实现对图像和视频流的检测。用到的文件有yolov3.weights、yolov3.cfg、coco.names,这三个文件的github链接如下: GitHub - pjreddie/darknet: Convolutional Neura…

传统物体检测

传统物体检测 1. 特征2. 模板匹配3. 颜色直方图4. 空间分拣5. 梯度特征6. HOG 特征7. 特征融合8. 搭建分类器8.1 数据标注8.2 数据预处理8.3 训练分类器8.4 交叉验证 9. 滑动窗口9.1 多尺度窗口9.2 Hog子采样窗口搜索(Hog Sub-sampling Window Search) 10. Multiple Detections…

计算机视觉之旅-进阶-物体检测

1. 物体检测概念 计算机视觉中的物体检测是指在图像中检测和定位特定目标对象,它是计算机视觉中一个基本而又重要的问题。 物体检测的目的就是在输入图像中检测所关心的目标对象,并给出其边界框和类别信息。典型的输出包括: - 边界框:表示目标对象在图像中的位置和大小。常用…

物体检测技术的简单介绍

1. 物体检测技术概念 物体检测技术,通常是指在一张图像中检测出物体出现的位置及对 应的类别,主要包括物体类别、 x m i n x_{min} xmin​、 y m i n y_{min} ymin​、 x m a x x_{max} xmax​与 y m a x y_{max} ymax​。它是一项非常基础的任 务&…

Opencv项目实战:05 物体检测

1,效果展示 为此,我专门还去查了查,怎么将视频转化为gif图,不知不觉中,我又多学会了一项技能。 OK!cool,效果很不错,今天需要搭配一些文件,都是可以从官网里找到的,那么我为了方便,专门去学习怎么在GitHub上托管项目,还下载了VScode和Git,我太难受了,如果不是要写…

百万youtube高清视频数据集采集

HD-VILA-100M是什么? HD-VILA-100M是一个大规模、高分辨率、多样化的视频语言数据集,有助于多模态表示学习。 数据统计 该数据集共包含330万个视频,视频质量较高,均衡分布在15个类别中。 下载(Download) 您可以通…

100多万个视频短片数据集来啦!

本文经授权转载自 IEEE电气电子工程师学会(ID: IEEE_China) 想象一下,如果我们必须向外星人解释地球上发生的所有行为。我们可以为他们提供非小说类书籍或BBC纪录片。我们可以尝试口头解释什么是电臀舞。但是,实际上,没…

大数据视频课程汇总

1.由于未经视频版权方授权,很可能会被下架,请各位需要的同仁及时下载,如果被下架,请留言说明。 2.视频为大数据梅峰谷整理,所有视频不加密,不收费,不做机构的宣传品,(因为微信和各大…

视频分类数据集介绍

视频分类数据集 在视频分类项目中,有很多经典的公开数据集,目前主要的数据集如列表所示: 重点介绍三个中等规模的数据集。 1. UCF101 动作识别数据集,从youtube收集而得,共包含101类动作。其中每类动作由25个人做动作…

Python毕业设计 抖音短视频数据分析与可视化 - python 大数据 可视化

文章目录 0 前言1 课题背景2 数据清洗3 数据可视化地区-用户观看时间分界线每周观看观看路径发布地点视频时长整体点赞、完播 4 进阶分析相关性分析留存率 5 深度分析客户价值判断 0 前言 🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕…

大数据分析视频全套

一、全套视频总览 二、大数据分析之level2 三、大数据分析之level3 四、大数据分析之level4 五、课程相关资料 具体详细内容及目录结构如下: 注: 大数据分析与大数据开发的区别在于:本套课程涵盖算法更多,需掌握python语言&#…