L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W中非0元素的个数最少，即大部分元素都是0。换句话说，希望让参数W是稀疏的。
L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。那么W的L1范数是W的绝对值，|w|在w=0处是不可微的。
既然L0可以实现稀疏，为什么不用L0，而要用L1呢？是因为L0范数很难优化求解，而且L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。
在正则化项中使用L1范数的出发点即希望参数稀疏，有两个作用：
- 可以进行特征选择。一般来说，xi的大部特征都是和最终的输出yi没有关系或者不提供任何信息的，在最小化目标函数的时候考虑xi这些额外的特征，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用的信息反而会被考虑，从而干扰了对正确yi的预测。稀疏规则化算子的引入就是为了完成特征自动选择的光荣使命，它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0。
- 让学习结果具备可解释性：如果输入样本有很多个特征，但是学习到的参数只有几个为非0，则预测的结果只与这几个参数不为0的特征有关系，即可以解释为什么学习的结果是这样。
L2范数是指向量各元素的平方和然后求平方根。我们让特征权重的L2范数||W||2最小，可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0。这样可以实现对于模型中一些高阶项的限制，从而实现防止过拟合。
另外L2范数还能让优化变得快速且稳定，因为如果一个模型是ill-conditioned即输入的微小变化对输出影响很大，则当输入样本有小误差时，就达不到优化目标，得不到最优解。而在模型中加入二次方的正则化项，则可以改善模型的condition number，即减小输入变化对输出的影响，使模型从convex变为strong convex。
convex和strong convex的区别：如下图所示，对于convex函数，只需要满足曲线上的点在一条切线的上方，但是有可能在切点附近变化很小，因此不利于用梯度下降得到最优解，且求的解与最优解之间相差有可能很大。
但是对于strong convex函数，需要满足曲线上的点在切点的二次函数上方，这样就可以快速稳定的求得最优解w*
L1范数和L2范数的区别：
如下图所示，L1范数的约束项为||w||1<=C,即为左图的方形，方形的角点最有可能与拟合函数相交，相交的地方即为最优解，此时w1或者w2为0，即使参数稀疏，而L2范数的约束项为||w||2<=C，即为右图中的圆形，相交的地方大概率w1和w2都不为0，因此不会使参数稀疏。
