学习李航的《统计学习算法》,今天周三，这周任务之一完成逻辑回归模型的博文记录。

逻辑回归（Logistic Regression）属于分类方法（classification）。逻辑回归与最大熵模型（maximum entropy）都属于对苏线性模型。

【逻辑回归模型】

【逻辑分布】

X连续随机变量，服从逻辑分布是指：

                                                    分布函数                             （1.1）

                                   密度函数                            （1.2）         

如图所示，F（x）为sigmoid函数，(即S形函数)，以为中心对称，即

【二项逻辑回归模型】

二项逻辑回归模型（binomial logistic regression），一种分类模型，由条件概率分布表示。

其中，Y取值为0,1；X取值为实数。

条件概率分布如下：

                        （1.3）

                        （1.4）

其中，为输入。为输出。w为权值向量，b为偏置。

基本分类方法为，按照（1.3）（1.4）分别计算出输入对应的，的概率值，将x分类到概率较大的一方。

【注】为方便书写和计算，将权值向量和输入向量加以扩充，仍记作w,x，即

相应的模型变为：

时间发生的几率（odds）为事件发生的概率与事件没有发生的概率的比值。

假设发生概率为p，没有发生为1-p，则几率为  .

对数几率（log odds）或logit函数为 

对于逻辑回归，。演算如下图: 

 

【模型参数估计】

给定训练数据集 ,

设   ,   

似然函数 ： 

对数似然函数:

                     

对L（w）求极大值，得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。

假设得到的w的极大似然估计值为,则得到逻辑回归模型为