ELU激活函数

          

 

• 融合了sigmoid和ReLU，左侧具有软饱和性，右侧无饱和性。
• 右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。
• ELU的输出均值接近于零，所以收敛速度更快。
• 在 ImageNet上，不加 Batch Normalization 30 层以上的 ReLU 网络会无法收敛，PReLU网络在MSRA的Fan-in （caffe ）初始化下会发散，而 ELU 网络在Fan-in/Fan-out下都能收敛。