1.Logistic分布：
logistic分布定义：设X是连续随机变量，X服从logistic分布，即为X具有下列分布函数和密度函数：
其中，mu为位置参数，r>0为形状参数；
logistic分布的分布函数F(x)的图形与密度函数f(x)的图形如下所示：
分布函数 密度函数
分布函数的图形是一条S形曲线，该曲线是以(mu,1/2)为中心对称，在曲线中心附近增长速度较快，而在两端增长速度较慢，形状参数r的值越小，曲线在中心附近增长越快；
2.二项 Logistic 回归模型
二项Logistic回归模型由条件概率分布P(Y|X)表示，X为随机变量，取值为实数，Y同为随机变量，但取值为1或0；
二项 Logistic回归模型的条件概率分布：
其中，w称为权值向量，b为偏置，x为输入，Y为输出，也就是说通过统计x的概率值，在那一类中的概率值较大，就将x分到那一类中，
3.模型参数估计
给定训练数据集T={（x1,y1）,（x2,y2）,....（xN,yN）}, xi为实数，yi为0，1；
则通过极大似然估计法求得模型参数；
设P（Y=1|x）=p(x),，P（Y=0|x）=1-p(x)
似然函数表示为：
对数似然函数表示为：
然后对L(w)求极大值，得到w的估计值；
将对数似然函数作为目标函数，对其进行最优化问题；优化方法通常采用梯度下降法及拟牛顿法
对数损失函数的标准形式为：L(Y,P(Y|X)) = -logP(Y|X)意思就是什么样的参数才能使观测到目前这组数据的概率最大。
因为log函数是单调递增函数，所以log(P(Y|X)能够得到最大值，但L(Y,P(Y|X))=-logP(Y|X),所以最大化P(Y|X)就等同于最小化L
逻辑回归的P(Y=y|x)表达式为：
令w*x+b=f(x),则逻辑回归P(Y=y|x)的表达式为：
将公式带入到L（Y，P(Y|X)中，通过推导得到logistic的损失函数表达式，
最后推导出logistic回归的目标公式：
梯度下降法：
梯度 下降是通过J(w)对参数w进行一阶求导来找到下降方向，并且以迭代的方式更新参数，更新方式为 
每次更新参数后，通过比较||J(k+1）-J(k）||与某个阈值e大小项比较，比e小就停止；
牛顿法：
在现有极小点估计值的附近对f(x)做二阶泰勒展开，进而找到极小点的下一个估计值
设
对其进行求导，令导数
