激活函数maxout
- 系列文章：
maxout函数相对于其他的激活函数有很大的区别，可以看做是在神经网络中激活函数的地方加入一个激活函数层。 maxout可以看做是一个可学习的分段线性函数，因为可学习所以是需要参数的，而且参数是可以通过反向传播来学习的。因为参数量的增大，势必导致计算量的增大。
传统的神经网络从第i层输入到第i+1层，只需要训练一组权重参数，这些参数决定了上一层输入到到达这一层之后进行的变换。但是maxout做的事情就是第i层到第i+1层之前我们多训练一些参数，对第i层的输出，我们将每个输出连接k个隐藏层，通过k个隐藏层的参数进行计算之后，然后把这k个隐藏层求最大值，作为最终的输出。
这里我们给出maxout的计算公式。
，使用maxout需要人为的设定一个参数k，这个参数k就是每个神经元输出之后接的虚拟隐藏层的个数。而权重参数W的维度是 ( d , m , k ) (d,m,k) (d,m,k)的，d代表的是输入节点的个数，m代表的则是输出层节点的个数。这也是之前神经网络第i+1层的参数设置。但是现在多出来一个维度k，就是为了产生中间的k个输出，然后将这k个输出再取一个最大值。
如上图，原本的神经网络只有输入的两个神经元x，输出的只有一个神经元 h i ( x ) h_i(x) hi(x)，普通的神经元则是直接把x和 h i ( x ) h_i(x) h
