发展时间点

局部响应归一化这个方法流行于2012年的 AlexNet网络，它将这种方法付诸实践，验证了它的可行性。在caffe框架和tensorflow框架中，这都是经常和卷积、池化配合使用的方法。

作用时间点：LRN一般是在激活、池化后进行的一中处理方法

• AlexNet网络的亮点

1. 由于网络的深度不小，抛弃原始的sigmoid激活函数，改用relu，且效果更好，避免后期梯度消失的问题
2. 在最后的几层全连接上使用了dropout方法，一定程度上避免过拟合现象
3. 抛弃原始的平均池化，全部改用最大值池化，避免了平均池化带来的模糊效果
4. 首次使用了LRN方法，对局部神经元的活动创建了竞争机制，使得其中响应比较大的值变得更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力

公式解释

• b_x,yⁱ：第i个通道的一个位于（x，y）的输出像素值
• a_x,yⁱ：第i个通道的一个位于（x，y）的输入像素值，即经过激活函数输出的值
• k：一个超参数，通常设为2
• $\alpha$：一个超参数，通常设为e^-4
• N：该层所拥有的通道数
• n：一个超参数，通常设为5
• $\beta$：一个超参数，通常设为0.75