核方法也称为核技巧（Kernel method）

article/2025/9/25 18:33:02

简介

核函数是干嘛的？

核方法的好处#套用ice110956的说法

1.      在线性与非线性间架起一座桥梁，低维空间里面数据特征是非线性的，没法儿用线性方法解决，当数据特征映射到高维的时候，可以用线性方法解决。

2.      通过巧妙地引进，避免了维数灾难，没有增加计算复杂度。#

线性学习器相对于非线性学习器有更好的过拟合控制从而可以更好地保证泛化性能。

还有，很重要的一点是核方法还是实现高效计算的途径，它能利用核函数将非线性映射隐含在线性学习器中进行同步计算，使得计算复杂度与高维特征空间的维数无关。

    kamekin    核方法的示意图-摘自 kamekin

上面讲了核函数的作用咱们再来看看它是怎么定义的。

定义

#套用kamekin的说法

知道了核函数的应用以及有哪些核函数之后，我们来看看，什么样的函数能作为核函数，是不是我们能自己构造核函数。核函数一个有效的判断方式是通过Mercer定理：

简单的说就是，判断核函数K对应的Gram矩阵是否是半正定的。但是值得注意的是，Mercer定理不是核函数必要条件，只是一个充分条件，也就是说还有不满足Mercer定理的函数也可以是核函数。

本科学的数学线代知识也快还给老师了，回顾一下。

一个矩阵正定(Possitive definite) 到底能说明什么，能解决什么问题？

一个矩阵正定(Possitive definite) 到底能说明什么，能解决什么问题？ - 知乎

①从系统角度看，如果一个矩阵是正定的，那么我们可以简单理解这个系统拥有全局最小值，如果能证明或者将问题用正定矩阵表示，那么从理论上该问题便拥有全局最优解。

②比如如果矩阵二阶导为正定矩阵xtAx > 0，则证明其具有局部最大值解，反之xtAx < 0 则证明其具有局部最小值解，如果不满足上述两种则证明函数会有鞍点（saddle point）。

③数学视角看，当我们说矩阵正定，相当于对矩阵做了相当强的一种限制，那么在这个限制里就会发现相当多有趣的性质，另外有许多矩阵是正定的，比如协方差矩阵，动力矩阵等等。这就给了数学家研究归纳性质的强烈兴趣。