1、PCA降维（主成分分析）
PCA降维就是去除线性相关，使得最后剩余的属性维度全都线性无关。
其实：PCA降维不仅是去除先线性无关，还可以过滤掉小特征值对应的特征向量。因为特征值变化小，对应的特征向量变化也小，转换后两个维度相似性就比较大。相似度大就没有意义。
| 均值（平均值） | |
| 样本方差（总体方差是n，样本方差是n-1） | |
| 协方差（如果X等于Y，就是方差） | |
①去中心化，减去均值
②计算协方差
③求协方差的特征值，特征向量
④特征向量归一化，原来n维，现在要降到k维，那么就取最大的k个特征值对应的特征向量。与原输入进行相乘。
第一步：均值为0，去中心化不变
第二步：求协方差
第三步：求特征值，特征向量
第四步：特征向量归一化
第五步：取前k大特征值对应的特征向量（原输入是2维，现在要降维到1维，k=1，取最大特征值对应的特征向量）
总结：PCA降维是通过协方差求特征值和特征向量，取前k大特征对应的特征向量与原矩阵相乘，得到降维后的矩阵。原理是找到不同的特征值对应的特征向量，都是线性无关。特征值特征向量如何求取？第一步先求特征值，第二步求特征向量。特征向量中有x1+x2-x3=0（这个方程没法解，枚举，每次一位为1，其余都为0）(_,1,0)-->(-1,1,0)、(_,0,1)-->(1,0,1)
2、SVD降维（奇异值分解，参考1、参考2、参考3）
①一些基础知识
实对称矩阵：A=AT（矩阵A=矩阵A的转置）
正交矩阵：AAT=E（A的转置=A的逆矩阵）
酋矩阵：对于实数矩阵，酋矩阵就是正交矩阵，貌似矩阵中的每个向量的模长是1。
②矩阵分解
果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式子 ： Av = λv
这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式：A = Q∑Q-1
其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。
首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。
③奇异值分解（对应的A不是方阵）
奇异值分解是一个能适用于任意的矩阵的一种分解的方法： A = UΣVT
AAT的特征向量表示U、ATA的特征向量表示VT、AAT特征值得算术平方根表示Σ
总结：在图像处理中，一个700*500的图像，可以压缩到svd分解成：
U=750*750的特征向量矩阵
Σ=1*500的特征值
VT=500*500的特征向量矩阵
若前k个奇异值达到总的奇异值的90%，可以进行压缩存储。
src：750*500
dst:（750*160）+160+（160*500） (k=160)
数据恢复：UΣVT进行相乘得到原矩阵。
#奇异值分解：
U, sigma, VT = np.linalg.svd(data)
#重构，选择前160个奇异值
count = 160
dig = np.mat(np.eye(count) * sigma[:count])
redata = U[:, :count] * dig * VT[:count, :]
#降维 （750,500）(特征维度750，需要降维)
#（500,750）要转置 （750,160）#降维到160 (750*160) （160*160）
redata = np.dot(np.dot(data.T, U[:,:count]) ,dig)
数据降维：这里750表示每个特征的维度，需要找到U，np.dot(np.dot(A.T, U), S)，只需把S特征值对应的置为0即可。
这里500表示每个特征的维度，需要找到VT，np.dot(np.dot(A.T, U), S)np.dot(np.dot(A, VT), S)。比如例题有两个特征值，是两维，特征变0一个那么降维到1维。
分析：PCA和SVD降维都是取某些特征值即可。PCA是取最大特征值对应的特征向量去映射原矩阵。SVD是也是取k个特征值对应的特征向量然后去映射原矩阵。（SVD可以有两种降维，一种是把特征值和对应的特征向量单独拿出来，另外一种是把不需要的特征值置为0，做运算的时候对应的特征向量不参与运算）
def SVD1():path = 'C:/Users/hqh/desktop/wed.jpg'data = cv2.imread(path,0)U, sigma, VT = np.linalg.svd(data)# 在重构之前，依据前面的方法需要选择达到某个能量度的奇异值cnt = sum(sigma)cnt90 = 0.9 * cnt # 达到90%时的奇异总值count = 160 # 选择前160个奇异值cntN = sum(sigma[:count]) #sigma已经由大到小排序#cntN>cnt90# 重构矩阵dig = np.mat(np.eye(count) * sigma[:count]) # 获得对角矩阵redata = U[:, :count] * dig * VT[:count, :] # 重构print(redata.shape)plt.imshow(redata, cmap='gray') # 取灰plt.show() # 可以使用save函数来保存图片'''src:700*500 dst:(700*160)+160+(500*160)'''#U压缩行，V可以压缩列#输入700行500列，若看成每个特征有700维度，进行降维->500是不变的，找U矩阵（data还需要转置 ）#若看成每个特征有500维度，进行降维->700是不变的，找VT矩阵redata = np.dot(np.dot(data.T, U[:,:count]) ,dig) #降维 700*500->500*10plt.imshow(redata, cmap='gray') # 取灰plt.show() # 可以使用save函数来保存图片
def SVD2():A = np.mat([[1, 2, 3], [4, 5, 6]]) #2*3U, Sigma, VT = np.linalg.svd(A) #2*2 2 3*3S = np.zeros((2, 3))print("A':", np.dot(np.dot(U, S), VT)) # 恢复原始维度Sigma[1] = 0 # 降维 #去除一个特征值S = np.zeros((2, 3))S[:2, :2] = np.linalg.diag(Sigma)print("A conv:", np.dot(np.dot(A.T, U), S)) # 原始数据转到低维S = np.mat(np.eye(1) * Sigma[:1]) # 获得对角矩阵print("A conv:", np.dot(np.dot(A.T, U[:,0:1]), S)) # 原始数据转到低维
