LDA算法入门
一． LDA算法概述：
二． LDA假设以及符号说明：
假设对于一个
空间有m个样本分别为x1,x2,……xm 即 每个x是一个n行的矩阵，其中
表示属于i类的样本个数，假设有一个有c个类，则
。
………………………………………………………………………… 类间离散度矩阵
………………………………………………………………………… 类内离散度矩阵
………………………………………………………………………… 属于i类的样本个数
…………………………………………………………………………… 第i个样本
…………………………………………………………………………… 所有样本的均值
…………………………………………………………………………… 类i的样本均值
三． 公式推导，算法形式化描述
根据符号说明可得类i的样本均值为：
…………………………………………………………………… （1）
同理我们也可以得到总体样本均值：
………………………………………………………………………… （2）
根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子：
……………………………………………… （3）
…………………………………… （4）
当然还有另一种类间类内的离散度矩阵表达方式：
其中
是指i类样本的先验概率，即样本中属于i类的概率（
），把代入第二组式子中，我们可以发现第一组式子只是比第二组式子都少乘了1/m，我们将在稍后进行讨论，其实对于乘不乘该1/m，对于算法本身并没有影响，现在我们分析
