【YOLOv5改进系列】前期回顾：
YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析
YOLOv5改进系列（1）——添加SE注意力机制
YOLOv5改进系列（13）——更换激活函数之SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等
article/2025/9/21 18:24:49
相关文章
【PyTorch】教程：torch.nn.ELU
torch.nn.ELU CLASS torch.nn.ELU(alpha1.0, inplaceFalse) paper: Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs). 参数
alpha ([float]) – α \alpha α 默认为1.0inplace ([bool] ) – 内部做, 默认为 False
ELU 定义 ELU ( x ) { x , …
【YOLOv7/YOLOv5系列算法改进NO.54】改进激活函数为ReLU、RReLU、Hardtanh、ReLU6、Sigmoid、Tanh、Mish、Hardswish、ELU、CELU等
文章目录 前言一、解决问题二、基本原理三、添加方法四、总结 前言
作为当前先进的深度学习目标检测算法YOLOv7，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系…
常用激活函数：Sigmoid、Tanh、Relu、Leaky Relu、ELU优缺点总结
1、激活函数的作用
什么是激活函数？ 在神经网络中，输入经过权值加权计算并求和之后，需要经过一个函数的作用，这个函数就是激活函数（Activation Function）。
激活函数的作用？ 首先我们需要知道…
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
非线性激活函数详解 饱和激活函数Sigmoid函数tanh函数hard-Sigmoid函数 非饱和激活函数Relu（修正线性单元）：Relu6（抑制其最大值）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu&a…
激活函数详解（ReLU/Leaky ReLU/ELU/SELU/Swish/Maxout/Sigmoid/tanh）
神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。 ReLU(Rectified Linear Unit,修正线性单元)
形式如下: ReLU公式近似推导:: 下面解释上述公式中的softplus,Noisy ReLU.
softplus函数与ReLU函数接近,但比较平滑, 同ReLU一样是单边抑制,有宽广的接受…
【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
文章目录 一、Tanh二、Sigmoid三、ReLU四、Leaky ReLU五、ELU六、SiLU七、Mish 本文主要介绍卷积神经网络中常用的激活函数及其各自的优缺点 最简单的激活函数被称为线性激活，其中没有应用任何转换。 一个仅由线性激活函数组成的网络很容易训练，但不能学…
神经网络激活函数汇总（Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout）
神经网络激活函数汇总（Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout）
常规 sigmoid 和 tanh
sigmoid 特点：可以解释，比如将0-1之间的取值解释成一个神经元的激活率（firing rate）
缺陷࿱…
神经网络激活函数优缺点和比较（sigmod，tanh，relu，softmax，leaky relu，ELU,SELU）
文章目录 前言一、sigmoid函数二、tanh函数三，ReLU函数四， Leaky ReLU五，ELU指数线性单元函数&SELU函数六，softmax函数 前言
理想的激活函数应该有的性质 非线性：这个条件是多层神经网络形成的基础，保…
常用激活函数：Sigmoid/Softmax/ELU/ReLU/LeakyReLU/Tanh...（Pytorch）
激活函数 一、Sigmoid1.介绍2.实例 二、Softmax1.介绍2.实例 三、ELU：指数线性单元函数1.介绍2.实例 四、ReLU：整流线性单元函数1.介绍2.实例 五、ReLU61.介绍2.实例 六、LeakyReLU1.介绍2.实例 七、Tanh：双曲正切函数1.介绍2.实例 一、Sigmo…
【深度学习】论文导读：ELU激活函数的提出（FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)）
论文下载：
FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)（2016，Djork-Arne Clevert, Thomas Unterthiner & Sepp Hochreiter）
一、简介
ELU的表达式： 四种激活函数࿰…
ReLU、LReLU、PReLU、CReLU、ELU、SELU
ReLULReLUPReLUCReLUELUSELUReLU tensorflow中：tf.nn.relu(features, name=None)
LReLU
(Leaky-ReLU) 其中 ai 是固定的。 i 表示不同的通道对应不同的
机器学习中的数学——激活函数（五）：ELU函数
分类目录：《机器学习中的数学》总目录 相关文章： 激活函数：基础知识 激活函数（一）：Sigmoid函数 激活函数（二）：双曲正切函数（Tanh函数） 激活函…
npm的安装，卸载以及版本回退
我之前在电脑上安装了Node.js V15.12.0这个版本，它对应的npm版本为 7.6.3 后来因为npm install --registryhttps://registry.npm.taobao.org总是报错。
度娘说npm7.x的版本比npm6.x更严格。
因此我回退npm版本到6.X。
于是我重装了node V13.10.1，但是…
Linux安装与卸载nodejs/卸载npm
编译mediasoup, 需要先安装nodejs npm。但是我一不小心，安装了最新的14.x版本。结果老出问题：
npm ERR! cb() never called!npm ERR! This is an error with npm itself. Please report this error at:
npm ERR! <https://npm.community>npm …
npm 卸载及安装流程
1.卸载
1.将node的安装目录nodejs文件夹清空 2.查找.npmrc文件删除（在用户文件夹下）
2.安装
1.到node官网下载安装包 2.傻瓜式安装 3.完成后 node -v npm -v 查看是否安装成功，此时npm 并不是最新版 4.配置npm的全局模块的存放路径以及cac…
Node.js的卸载
Node.js的卸载 在控制面板-程序-程序和功能中卸载卸载后 到文件夹中进行进一步的删除检查环境变量中Path中有没有最后 重启一下 结束[随手记账单小程序 期待大家的反馈](https://mp.weixin.qq.com/s/RaFSpVov33bZDUn-aSXa1w) 在控制面板-程序-程序和功能中卸载
确保node.js没有…
npm的卸载与安装流程
安装（npm 和node是一起的，安装成功node后就会自带npm） 1、下载地址为：https://nodejs.org/en/
2、检查是否安装成功：如果输出版本号，说明我们安装node环境成功 3、为了提高我们的效率，可以使用…
npm——安装、卸载与更新
npm 官方文档：https://docs.npmjs.com/
什么是npm
npm（“Node 包管理器”）是 JavaScript 运行时 Node.js 的默认程序包管理器。
它也被称为“Ninja Pumpkin Mutants”，“Nonprofit Pizza Makers”，以及许多其他随机…
静态局部变量 普通全局变量 静态全局变量
1 计算机内部存储方面，在编译时，编译器会给它们分配地址，地址不会被回收。
2
静态局部变量
a 作用域是在于同局部变量。
b，地址不会回收，但是赋值同普通变量一样。 注意：
1 编译器在静态存储区内给静…