机器学习的数学基础(3):正交性原理(orthogonality principle)

article/2025/7/23 11:15:32

思考这样一个问题,令S为一个希尔伯特空间,而\tau空间S的一个子空间

当我们给定了x\in S,如何求最近\tau上距离x最近的点。

则我们用数学语言表示该问题为一个优化问题:

\min \left \| x-y \right \|\quad y\in \tau

该问题的解可以直接通过一个定理给出,即正交性定理(orthogonality principle)

Orthogonality Principle

定理描述如下:

令S为一个希尔伯特空间,而\tau空间S的一个子空间,当我们给定任意的x\in S

1. 一定存在一个唯一的点\hat{x}\in \tau遵循:x-\hat{x}\perp \tau

2. 满足1的这个点\hat{x}是该优化问题的唯一解

接下来我们将分两部分证明上述定理,第一部分先证明满足1的解一定是问题的解,第二部分则会给出解的具体表达式以及唯一性的证明

Part I

由定理第一条我们有:\left \langle x-\hat{x},y \right \rangle=0 对于任何\tau中元素都成立

\left \| x-y \right \|^{2}=\left \| (x-\hat{x}-(y-\hat{x})) \right \|^2=\left \| x-\hat{x} \right \|^2+\left \| y-\hat{x} \right \|^2

(其中第二个等式是因为y-\hat{x}也在空间\tau中,所以内积为0

所以显然:\left \| x-y \right \|^{2}\geq \left \| x-\hat{x} \right \|^2,当y=\hat{x}时等号成立,因此这也就证明了满足定理第一条的解一定时优化问题的解。

Part II

这一部分我们将给出解的计算方法,并通过解析表达式来去说明解是唯一的

现在假设\tau的一组基底为v_1,v_2,...v_N,那么解则可以表示为:

\hat{x}=a_1v_1+a_2v_2+...+a_Nv_N

则有:

\left \langle x-\sum_{k=1}^{N}a_kv_k ,v_n\right \rangle=0\rightarrow \left \langle x,v_n \right \rangle=\sum_{k=1}^{N}a_k\left \langle v_k,v_n \right \rangle

求解ak,我们则可以通过线性代数的知识进行直接求解,首先我们把上述等式表示为矩阵的形式:

 左边的矩阵叫做基底vn的Gram矩阵,记作G,我们将右边的矩阵记为b

因为所有基底全部是线性无关的,所以G可逆,进而我们可以直接写出a的表达式:

a=G^{-1}b

并且由于G是可逆的,自然a只存在唯一解

以上


http://chatgpt.dhexx.cn/article/OFZLkZKP.shtml

相关文章

傅里叶级数与傅里叶变换_Part1_三角函数系的正交性

傅里叶级数与傅里叶变换_Part1_三角函数系的正交性 参考链接: DR_CAN老师的原视频 0、复习Part0的内容 参考链接:傅里叶级数与傅里叶变换_Part0_欧拉公式证明三角函数和差公式证明 三角函数的和差公式如下 sin ⁡ ( α β ) sin ⁡ ( α ) cos ⁡ …

09 正交性

09 正交性 9-1 空间,向量空间和欧几里得空间 9-2 广义向量空间 9-3 子空间 9-4 维度 9-5 行空间和矩阵的行秩 9-6 列空间 9-7 矩阵的秩和矩阵的逆 9-8 零空间与看待零空间的三个视角 9-9 零空间与秩-零化度定理 9-10 左零空间,四大子空间和研究子空间的…

CSS正交性分析

Refer: 为什么 CSS 这么难学? 我先来解释一下什么是正交。你调过显示器的「亮度」、「色调」和「饱和度」吧。 「亮度」就是明暗程度,值越大,屏幕越亮。 「色调」就是颜色,你通过调色调,可以把红色调成绿色。 「饱和度…

勒让德多项式的正交性和归一化

罗德里格斯公式正交性归一化应用 这学期上数学课时老师布置了一道习题:计算勒让德多项式的模。翻看本科数学物理方法教材,发现计算方法较复杂,且用到了生成函数 为了方便理清整个计算过程,这一博客直接从罗德里格斯公式出发并避免…

向量组的正交性

向量的内积定义 运算: 向量的正交性: 正交向量组的性质: 向量组的正交规范化 正交矩阵 定义: 正交矩阵的判定

拉盖尔多项式的正交性

标准拉盖尔多项式 拉盖尔多项式可以表示为: 拉盖尔多项式的正交性是指 当 时 上式的积分运算结果为0。这是一种加权的正交性。 证明: (1) 采用变换 容易得到,当 上式的结果为0是因为在进行微分运算后,各项均包含 , 各项的上下限均为0。 …

三角函数系的正交性

参考资料: https://zhuanlan.zhihu.com/p/341796771https://www.bilibili.com/video/BV1Et411R78v

1 三角函数的正交性

三角函数的正交性 三角函数的正交性三角函数系证明 三角函数的正交性 三角函数系 集合 { s i n 0 x , c o s 0 x , s i n x , c o s x , s i n 2 x , c o s 2 x , . . . } \lbrace sin0x, cos0x, sinx,cosx,sin2x,cos2x,... \rbrace {sin0x,cos0x,sinx,cosx,sin2x,cos2x,...…

正交的概念

“正交性”是从几何学中借来的术语。如果两条直线相交成直角,它们就是正交的,比如图中的坐标轴。用向量术语说,这两条直线互不依赖。沿着某一条直线移动,你投影到另一条直线上的位置不变。 在计算技术中,该术语用于表示…

正交性,从內积开始到施密特正交化

正交性 前言內积、长度和正交性[1]內积长度和距离正交向量非正交向量 正交集,正交基和正交投影正交集基定理1 正交基定理2 正交投影非零向量投影直线上的投影空间投影正交分解定理 格拉姆-施密特正交化参考 前言 多维空间,向量和矩阵,以及正…

三角函数正交性理解与Matlab分析

1.什么是正交性? “正交性”是从几何中借来的术语。如果两条直线相交成直角,他们就是正交的。在空间向量中,两个向量的标量积为零即两个向量正交。 如果两个函数满足,则称这两个函数正交。 2.什么是三角函数正交信号集&#xf…

mysql初期密码修改方式

1、适用解压版本的mysql 2、初始化mysql后,会随机生成一个密码,但比较复杂,(#一定记住) 初始化命令 mysqld -initialize 3、初始化后必须修改初始密码才能对mysql进行操作,这个时候操作就会报错误消息。 …

ubuntu20.04安装Mysql8.0以及mysql密码修改

前言 网上找到的这些关于这类的博客要么就是mysql版本过时了要么就完全没有用,浪费了我好多时间,于是我就把自己成功的经历分享给大家,希望能减少大家走弯路的时间。 Mysql的安装 很简单,一句话 sudo apt install mysql-serve…

Centos Mysql忘记密码,修改密码

当centos MySQL用户忘记密码,进不去MySQL,那就要进行修改密码了 看好了嗷,操作开始 首先用vim进一下配置文件:/etc/my.cof 添加一下skip-grant-tables #这行的意思就是设置空密码登录,毕竟密码都忘记了,不…

登录MySQL密码修改及密码遗忘的解决办法(centos)

1、修改密码 方法一 [roothost1 ~]# mysqladmin -uroot -p password Enter password: New password: Confirm new password: ​方法二 mysql> alter user rootlocalhost identified by MySQL123; Query OK, 0 rows affected (0.00 sec) 方法三 通过修改mysql数据库…

MySQL数据库忘记密码之修改密码

我目前使用的版本是MySQL Server 8.0 第一步:关闭MySQL服务 首先要停止mysql服务。可通过net stop mysql或者任务管理器中关闭。 第二步:跳过MySQL密码验证 进入命令提示符(管理员登陆)操作,进入mysql目录中bin文…

MySQL数据库忘记密码后,如何修改密码

MySQL修改密码(本人亲身试验可行!) 1、以管理员身份打开命令行 2、在命令行中进入MySQL的bin目录所在文件夹 即:在命令行中输入: cd [路径]路径查找如下: 命令行输入命令: 3、跳过MySQL用…

Linux忘记MySQL密码后修改密码

1、关闭mysql服务 service mysqld stop 2、找到my.cnf配置文件 whereis my.cnf 3、在[mysqld]标签下添加:skip-grant-tables vim /etc/my.cnf 4、启动mysql服务 service mysqld start 5、不用密码登录mysql,执行下面命令以后直接回车 mysql -u root 6、使用数据…

忘记mysql密码后如何修改密码(2022最新版详细教程保姆级)

忘记mysql密码后如何修改密码 注意事项步骤 注意事项 一共用到两个cmd窗口,每一个都要以管理员身份打开,且在修改密码后,要先关闭第一个跳过验证密码的mysql服务的cmd窗口,再启动mysql,否则会出错。在修改密码前&…

Mysql密码修改无效问题

记录一次修改mysql密码无效的经历。 因为项目需求需要用到阿里云服务器,于是我准备登录服务器去建表,结果忘记密码了,我用SQLyog保存的密码解码找到密码之后在云服务器用命令修改了密码。 修改密码命令 mysql> ALTER USER rootlocalhos…