机器学习数学基础—

机器学习数学基础——群论

article/2025/9/14 5:55:09

群论的定义

对于群论是什么，这里引用百度百科中的一段介绍：

群论，是数学概念。在数学和抽象代数中，群论研究名为群的代数结构。群在抽象代数中具有基本的重要地位：许多代数结构，包括环、域和模等可以看作是在群的基础上添加新的运算和公理而形成的。群的概念在数学的许多分支都有出现，而且群论的研究方法也对抽象代数的其它分支有重要影响

对于我本人而言，看完这段描述依然很懵，有一种听君一席话，如听一席话的感觉，压根还是不知道群论是个啥。但是没关系，看完这里我们只要知道有群论这个东西就行。

群论在机器学习中的应用

当我看到机器学习要用到群论的知识时，我的第一个疑惑就是群论在机器学习中起到了什么作用，或者说机器学习在哪些地方用到了群论，为什么会用到群论的知识？

经过查找资料，大致解决了一些心中的疑问。群论最初应用于高次方程解析解可解性的研究，致力于寻找方程解集的规则化和抽象化。而现如今，无论是计算机视觉和医学图像处理，都把视角从对欧式空间的研究转到了对模式分布流形(Manifold)的研究。因此对黎曼几何和李群的理解显得尤为重要。也就是说，基于欧式空间对机器学习的研究已经无法满足需求了，需要引入群论对模式分布流形进行研究。

下面就从一些图像和视觉问题的实例来介绍黎曼几何和李群，以及介绍在机器学习领域研究群论的意义。

首先我们简单给出流形的定义：

流形，定义为具有局部欧式特性的拓扑空间，可以看做曲线(1D),曲面(2D)的高维扩展，即嵌入高维欧式空间的低维拓扑空间

了解了流形的定义，就可以通过一个实例来了解群论在机器学习中的用处：

机器学习的样本和真实世界的样本，因其内部的生存联系，大多数数据并不有序存在于欧式空间中，而是有序存在于某一个流形空间内。最简单的，用 v 表示一条数据 (先暂且把他看做一个 n 维向量，即一个高维空间中的点 )，可以是人脸部的形状特征，可以是一张CT图像的灰度，甚至可以是一段视频的内容。就比如 v表示一张照片中人脸的形状,每条数据记录了k个轮廓点的位置(v=x1,x2,...,xk). 为了去除不同照片大小带来的尺度差异，一般的做法是将数据归一化，即使得

$x_1^2+x_2^2+...+x_k^2=1$

我们发现这样一来，此类数据其实存在于k-1维的圆上。那么问题是，给定两个脸部形状数据v1和v2，怎么求平均的脸部形状呢？如果将其看成是欧式空间的数据，那么平均值为1/2(v1+v2)，但是这个结果根本就不在k-1维的圆上！

对于更复杂的问题，数据可能存在于圆以外的更复杂的流形之上，所以这就引出了对流形操作的概念。比如，数据求平均值不应该用一般的欧式平均，而应该采用流形上的Frechet Mean。欧式空间的线性回归( Linear Regression )对应了流形上的Geodesic Regresstion . 欧式空间中的 PCA 就变成了PGA (Principal Geodesic Analysis )。也有一些方法把数据转化到某个切平面中，在用一般的欧式空间方法分析。

另一方面，图像的形变与转化，比如平移，旋转，similarity transform，或者一般的微分同胚映射(Diffeomorphism)，这些转换即可以看成是群结构，也可以看成是流形。这就引出了李群在图像处理中的应用。比如医学图像配准中，为了研究类似流体的平滑形变 (LDDMM) ，李群给出了一套很好的框架，使得对于平滑形变的求解和统计分析可以在单位形变的切平面上完成。

总而言之，对于黎曼几何和李群的了解有助于图像处理类工作的研究。