一、简介

损失函数（Loss Function)是用来评估模型好坏程度，即预测值f(x)与真实值的不一致程度，通常表示为L(Y, f(x))的一个非负的浮点数。比如你要做一个线性回归，你拟合出来的曲线不会和原始的数据分布是完全吻合（完全吻合的话，很可能会出现过拟合的情况），这个差距就是用损失函数来衡量。那么损失函数的值越小，模型的鲁棒性也就越好，对新数据的预测能力也就越强。

通常提到损失函数，我们不得不提到代价函数（Cost Function）及目标函数（Object Function）。

损失函数（Loss Function) 直接作用于单个样本，用来表达样本的误差

代价函数（Cost Function）作用于整个训练集，是整个样本集的平均误差，对所有损失函数值的平均

目标函数（Object Function）是我们最终要优化的函数，也就是代价函数+正则化函数（经验风险+结构风险）
在这里插入图片描述
其中，第一部分是代价函数，L代表损失函数；第二部分是正则化函数（也可以称为惩罚项），可以试L1，也可以试L2或者其他正则函数。整个表达式是要找到是目标函数最好的值。

二、损失函数

0-1损失函数（0-1 Loss Function）主要用于感知机

平方损失函数（Quadratic Loss Function）主要用于最小二乘法（OLS）

绝对值损失函数（Absolute Loss Function）

对数损失函数（Logarithmic Loss Function，Cross Entropy Loss Function, Softmax Loss Loss Function）主要用于Logistic回归与Softmax分类

指数损失函数（Exponential Loss Function）主要用于Adaboost集成学习算法

铰链损失函数（Hinge Loss Function）主要用于支持向量机（SVM）

2.1、0-1 损失函数（0-1 Loss Function）

在这里插入图片描述
当预测错误时，损失函数结果为1；当预测正确时，损失函数为0。该预测并不考虑具体的误差程度，直接进行二值化。

优点：稳定的分类面，不连续，所以不可导，但是次梯度可导

缺点：二阶不可导，有时候不存在唯一解

2.2、平方损失函数（Quadratic Loss Function）

在这里插入图片描述
预测值与实际值的差的平方。

优点：容易优化（一阶导数连续）

缺点：对outlier点敏感，得不到最优的分类面

2.3、绝对值损失函数（Absolute Loss Function）

在这里插入图片描述
与平方损失函数类似，去实际值与测试值的差值的绝对值，但是不会被放大。

2.4、对数损失函数（Logarithmic Loss Function）

在这里插入图片描述
对数损失函数用到了极大似然估计的思想。P(Y|X)表示在当前模型上，样本X的预测值为Y的概率，也就是说对于样本X预测正确的概率。由于统计极大似然估计用到概率乘法，为了将其转为假发，对其取对数即可方便展开为加法；由于是损失函数，预测正确的概率应该与损失值成反比，这里对概率取反得到 $log(\frac{1}{p(y|x)})$ ，转化一下可以得到 $- l o g p (y ∣ x)$ 。