感受野与权值共享

article/2025/9/14 14:58:37

什么是全连接?

若有一幅100x100的图像,隐层有100个神经元,每个神经元与每个像素全部连接,则有100*100*100个连接,这就叫做全连接。


什么是局部连接?

若有一幅100x100的图像,隐层有100个神经元,每个神经元只和10*10个像素相连接,那么就有10*10*100个连接


什么是感受野?

https://blog.csdn.net/gzq0723/article/details/53138430

在神经网络中,感受野的定义是: 
卷积神经网络的每一层输出的特征图(Feature map)上的像素点在原图像上映射的区域大小。 

若输入层通过第一层(kernel_size = 3x3,stride = 1),再通过第二层(kernel_size = 2,stride = 1)计算第二层对于输入层的感受野?

这里的第二层的stride大小与计算无关,很显然第一层对于输入层的感受野是3x3,第二层对于第一层的感受野为2x2

计算第二层关于输入层的感受野文字描述如下:

因为第二层kernel_size = 2,所以第二层输出的feature map上的像素点在第二层上的区域大小是2x2,因为第一层的感受野是3x3,stride是1,所以第二层的输出在输入层的映射为4x4,则第二层关于输入层的感受野是4x4

从上图应该能比较直观地看出。

感受野计算公式:V = ((V‘-1) * stride)+ ksize

计算是由最深层往浅层计算

V‘是当前层相对于前一层的感受野,大小是:VxV,stride是前一层卷积核的步长,ksize前一层滤波器的size。

所以VGG16里面用3个3x3的卷积核代替了一个7x7的卷积核,两者的感受野是一样的V1 = (3 - 1) * 1 + 3 = 5

V2 = (5 - 1)*1 + 3 = 7


什么是权值共享?

神经网络处理图像的参数很多,例如上面说的一幅100*100的图片有100个神经元,则共有参数(100*100*100)个参数,太多了,假如一个神经元的感受野是10x10,每个神经元只需要和10*10的局部图像连接,则每个神经元对于局部图像的参数是10*10+1(包括偏置项b),但是全局图像是100*100,10*10的只是局部图像,如果全局图像中各个局部图像之间权值共享的话,即10*10+1个参数在不同局部图像上参数应用相同的话,则在全局图像上通过全局共享则全局只需要10*10+1个参数;然而如果有1000个神经元,那么参数数量是1000*(10*10+1),还是很多,所以要是所有的神经元都共享这(10*10+1)个参数的话,神经元再多参数还是(10*10+1),所以通过权值共享之后,无论图像再大,神经元个数再多参数都是(感受野大小+1)个参数。

一种滤波器也就是一种卷积核就是提取图像一种特征,例如某个方向的边缘。那么我们需要提取不同特征就要多加几个滤波器了。若有N个滤波器,每个滤波器的参数不一样,表示提取输入图像不同特征,例如不同边缘。这样不同滤波器去卷积图像就得到不同特征的放映,我们称之为Feature Map,所以N个卷积核就有N个Feature Map,这100个Feature Map就组成了一层神经元。参数数为:N*(感受野大小+1)


http://chatgpt.dhexx.cn/article/3aPK0Iga.shtml

相关文章

感受野浅析

感受野的讲解,我在网上查了好多都是错误的,浪费了大量时间,后来总结下来避免大家入坑 一、感受野的概念 感受野(Receptive Field)的定义:卷积神经网络每一层输出的特征图(feature map&#xf…

CNN感受野计算

笔试过程中遇到了感受野计算的问题,赶快把不牢固的知识复习一下。 1 感受野的概念 在卷积神经网络中,感受野的定义是 卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。 2 感受野大小的计算…

目标检测和感受野的总结和想法

点击上方“计算机视觉工坊”,选择“星标” 干货第一时间送达 作者丨pprp知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/108493730 编辑丨极市平台 导读 经典的目标检测如Faster R-CNN, YOLOv3等都用到了Anchor,本文详细介绍了…

感受野 深度理解

知乎是个好东西,深入理解一些理念,靠博客是不行的。 感受野计算和理解的内容参考自:https://zhuanlan.zhihu.com/p/44106492 / https://zhuanlan.zhihu.com/p/40267131 后两个卷积的内容参考自: https://www.zhihu.com/question…

卷积神经网络感受野的计算

1 到底什么是“感受野”(接受野)?——Receptive Field “感受野”的概念来源于生物神经科学,比如当我们的“感受器”,比如我们的手受到刺激之后,会将刺激传输至中枢神经,但是并不是一个神经元就…

深度学习-感受野与有效感受野

文章目录 感受野增加感受野有效感受野与反卷积的区别总结 感受野 卷积核的大小(高度和宽度)定义了一个区域的空间范围,改区域可以被卷积核在每个卷积步骤中修改,因而卷积核的大小称为卷积核的“感受野”。 感受野(receptive field, RF),卷积…

3.3.2 感受野

3.3.2 感受野 1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究,提出了感受野(receptive field)的概念,Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络。 3.3.6 卷积网络的感受野Receptive field (RF)以…

目标检测和感受野的总结

目录 1、感受野 2、理论感受野计算 2.1、自上而下感受野计算 2.2、自下而上的计算方法 3、作用 4、关系 5、总结 6、参考文献 经典目标检测和最新目标跟踪都用到了RPN(region proposal network),锚框(anchor)是RPN的基础,感受野(receptive field…

CNN中的感受野

CNN中有一个概念叫局部感受野(local receptive field),那什么是感受野呢?一般的CNN结构都是卷积-池化这样重复下去,比如下表: layers size stride input100*100*1---conv13*31pool12*22conv23*31pool22*2…

详解CNN的感受野

目录 前言 CNN特征图可视化 感受野计算公式 计算Receptive Field Size的小程序 前言 感受野(receptive field,RF)也许是CNN中最重要的概念之一,从文献上来看,它应当引起足够的重视。目前所有最好的图像识别方法都是…

感受野计算问题

我觉得以下两篇文章,在感受野的含义和计算上,说的是比较好的。 1、深度学习:VGG(Vision Geometrical Group)论文详细讲解_HanZee的博客-CSDN博客 2、关于感受野的总结 - 知乎 我们知道一个图片经过了一个7 * 7卷积…

目标检测中的感受野

一、定义 卷积神经网络输出特征图上的像素点 在原始图像上所能看到区域的大小,输出特征会受感受野区域内的像素点的影响 在卷积神经网络中,感受野(Receptive Field)是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算…

感受野的理解与调研

问题来源 讲论文的时候,突然被别人问到感受野是个什么东东? 就百度查了一下: 重要知识链接总结 画深度学习的模型图方法:知网链接 神经网络模型图网站:画模型 感受野 一、感受野的概念 感受野(Receptive Field&am…

卷积的感受野

title: 卷积的感受野 date: 2022-06-14 19:52:38 tags: 深度学习基础 卷积的感受野 文章目录 title: 卷积的感受野 date: 2022-06-14 19:52:38 tags: 深度学习基础卷积的感受野什么是感受野为什么浅层特征预测小目标,深层特征预测大目标深层特征检测大目标&#xf…

感受野

感受野 先图解一下啥是感受野 感受野具体就是通过卷积核扫描原始图片之后一个feature map的格子代表原始图片的范围大小。 如上图,这是一个55的原始图片padding11,卷积核33,步距2。卷积扫描两次的示意图。 (2个33的卷积核扫描两次…

卷积神经网络中感受野的详细介绍

"微信公众号" 本文同步更新在我的微信公众号里面,地址:https://mp.weixin.qq.com/s/qMasyxRILzyEF3YyLvjzqQ 本文同步更新在我的知乎专栏里面,地址:https://zhuanlan.zhihu.com/p/39184237 1. 感受野的概念 在卷积神经…

感受野详解

目录 概念举例感受野的计算规律两种计算感受野的方法从前往后从后往前 推导VGG16网络的感受野结构从后往前从前往后 感受野大于图片为什么要增大感受野 概念 在卷积神经网络中,感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征…

深度理解感受野(一)什么是感受野?

Introduction 经典目标检测和最新目标跟踪都用到了RPN(region proposal network),锚框(anchor)是RPN的基础,感受野(receptive field, RF)是anchor的基础。本文介绍感受野及其计算方法,和有效感受野概念 什么是感受野? 感受野与视觉 感受…

感受野的含义及计算方法

1 感受野(Receptive Field)的概念 感受野(Receptive Field)的概念:在卷积神经网络中,感受野的定义是 卷积神经网络每一层输出的特征图(feature map)上的像素点在原始输入图像上映射的区域大小。第一层卷积层的输出特征图像素的感…

感受野是什么?

在卷积神经网络中,感受野(Receptive Field)是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算得到的。神经元感受野的值越大表示其能接触到的原始图像范围就越大,也意味着它可能蕴含更为全局,语义层次更高的…