SVD分解原理详解

article/2025/9/26 21:37:03

在介绍SVD之前，先补充一些基础知识

1.酉矩阵：

2.正规（正定）矩阵

3.谱分解：

表示正规矩阵，可经由酉变换，分解为对角矩阵；这种矩阵分解的方式，称为谱分解（spectral decomposition）。

4.SVD分解

作为谱定理的泛化，SVD 分解对于原矩阵的要求就要弱得多。

4.手动SVD分解的一个实例

SVD的分解实际可以将矩阵 M写成一个求和形式

5.SVD分解的应用：

（1）分析了解原矩阵的主要特征和携带的信息（取若干最大的奇异值），这引出了主成分分析（PCA）；

丢弃忽略原矩阵的次要特征和携带的次要信息（丢弃若干较小的奇异值），这引出了信息有损压缩、矩阵低秩近似等话题。

这两方面的应用实际上是对偶的：因为，按重要度排序之后，一方面我们可以知道哪些信息（奇异值）重要，另一方面我就很自然地就可以丢弃不重要的部分。

（2）举一个具体的实例：在图像数字化技术中，一副图片可转换成一个m*n阶像素矩阵来存储，存储量是m*n个数。如果利用矩阵A（秩为r）的奇异值展开式（即上述将SVD分解写成求和的形式），则只要存储A的奇异值，奇异向量U，V的分量，总计r*（m+n+1）个数。取m=n=1000，r=100，则m*n = 10的6次方，而r*（m+n+1）=200100

6. SVD分解实战——SVD与图像分解

# SVD分解
import os
from PIL import Image
import numpy as np
import matplotlib.pyplot as pltdef restore(sigma, u, v, K):m = u.shape[0]n = v.shape[0]svd_result = np.zeros((m, n))for k in range(K + 1):for i in range(m):svd_result[i] += sigma[k] * u[i][k] * v[k]svd_result[svd_result < 0] = 0svd_result[svd_result > 255] = 255return np.rint(svd_result).astype('uint8')palace = Image.open("palace.jpeg", "r")
print(palace)output_path = r'./SVD'
if not os.path.exists(output_path):os.mkdir(output_path)palace_array = np.array(palace)K = 50
u_r, sigma_r, v_r = np.linalg.svd(palace_array[:, :, 0])
u_g, sigma_g, v_g = np.linalg.svd(palace_array[:, :, 1])
u_b, sigma_b, v_b = np.linalg.svd(palace_array[:, :, 2])
plt.figure(figsize=(10, 10))for k in range(1, K + 1):R = restore(sigma_r, u_r, v_r, k)G = restore(sigma_g, u_g, v_g, k)B = restore(sigma_b, u_b, v_g, k)I = np.stack((R, G, B), axis=2)Image.fromarray(I).save('%s/svd_%d.png' % (output_path, k))if k <= 12:plt.subplot(3, 4, k)plt.imshow(I)plt.axis('off')plt.title('svd num: %d' % k)plt.suptitle('SVD and image decomposition', fontsize=20)

运行得到下图，是不是很神奇呀