1.首先搞清楚什么是感知机

         如上图所示，输入为向量，经线性变换，再通过激活函数得到输出，这样一个完整的结构成为感知机。感知机是人工神经网络的最小单元，本质上由一个仿射变换接一个非线性变换组成。

        上图w·x+b属于仿射变换，g（）为激活函数也就是非线性变换。 

2.激活函数

 

  

                                                                                               上图softmax函数

3.神经网络如何进行分类？

3.1二分类问题

        我们先来探讨一下二分类问题，如下图所示为一个二维平面上线性不可分的例子。

         这个例子可以通过一个隐藏层，两个节点（即感知机）组成的神经网络来进行分类，其分类原理如下。

                                                                   两个感知机切两刀 

         将x1、x2输入，经过感知机h1、h2得到的值我们记为z1、z2（y1、y2），画出x1、x2、z的三维图像如下图：

 

      由上图可知，右下角低，左上角高的这个三维图应该是右边那刀切出来的；左下低，右上高的这个三维图应该是左边那刀切出来的。将  z1、z2经过softmax整合留下最大值，也即将两幅图片经由softmax整合后，即可得到分类结果。原理和结果如下：

 

 

 3.2圆形分界线

        

         对于这种圆形分界线，两个线性分界线的组合就没法完全进行分类了。可以尝试增加一个隐藏层单元，也就是多切一刀然后进行训练。

 

         其中一刀的结果如下图所示：

 三刀切过后的结果，经softmax整合到一起以后，可得到x1、x2、z的三维图如下：

 除此之外，还有许多更复杂的样本分布：