多元线性回归中的公式推导

article/2025/8/24 19:13:16

这次接着一元线性回归继续介绍多元线性回归，同样还是参靠周志华老师的《机器学习》，把其中我一开始学习时花了较大精力弄通的推导环节详细叙述一下。

本文用到的部分关于向量求导的知识可以参看博文标量、向量、矩阵求导

数据集 $D=\{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2) \cdots (\boldsymbol x_m, y_m)\}$ ，其中 $\boldsymbol x_i=[x_i^{(1)}, x_i^{(2)} \cdots x_i^{(d)}]^T$ 表示一条样本数据有 $d$ 个属性，我们的目标是寻找 $d$ 维列向量 $\boldsymbol w$ 和常数 $b$ ，使得模型

\begin{matrix} (1) & f (x_{i}) = w^{T} x_{i} + b \end{matrix}

$f(\boldsymbol x_i)=\boldsymbol w^T\boldsymbol x_i+b\tag 1$ 所得的预测值与真实值

yi y i $y_i$ 尽可能接近。

我们可以采用一些小策略把式(2)统一用矩阵和向量表示，把常数 $b$ 放入权值向量 $\boldsymbol w$ 得到一个 $(d+1)$ 维的权值向量 $\boldsymbol{\hat w}=(\boldsymbol w; b)$ ，同时在每个样本实例中添加第 $(d+1)$ 个属性，置为 $1$ ， $\boldsymbol{\hat {x_i}}=(\boldsymbol x_i;1)$ 。将样本所有属性排列为矩阵可以得到：

X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 1^x 2^⋮ x m^⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\boldsymbol X= \left [ \begin{matrix}\boldsymbol{\hat {x_1}} \\\boldsymbol{\hat {x_2}} \\\vdots \\\boldsymbol{\hat {x_m}} \\ \end{matrix} \right]$
令

y=(y1,y2⋯ym)T y = ( y 1 , y 2 ⋯ y m ) T $\boldsymbol y=(y_1, y_2\cdots y_m)^T$ ，同一元线性回归中最小化预测值与真实值误差平方和一样，在多元回归中我们要最小化

| | y - X w^| | 2

$||\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}}||^2$
即

w * = arg w^min (y - X w^) T (y - X w^)

$\boldsymbol w^*=\arg_\boldsymbol{\hat w}\min (\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})^T(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})$
此处将最小化的目标函数视为

w^ w ^ $\boldsymbol{\hat w}$ 的“单变量”函数，令

h(w^)=(y−Xw^)T(y−Xw^) h ( w ^ ) = ( y − X w ^ ) T ( y − X w ^ ) $h(\boldsymbol{\hat w})=(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})^T(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})$ ，求它的最小值只需其对

w^ w ^ $\boldsymbol{\hat w}$ 求导，导数值为 0 时

w^ w ^ $\boldsymbol{\hat w}$ 的取值即为所求。

\partial h ( w ^ ) \partial w ^= \partial [ ( y - X w ^ ) T ( y - X w ^ ) ] \partial w ^= 2 \partial ( y - X w ^ ) T \partial w ^(y - X w^) = 2 \partial y T \partial w ^(y - X w^) - 2 \partial ( X w ^ ) T \partial w ^(y - X w^) = 0 - 2 X T (y - X w^) = 2 X T (X w^- y) (2) (3) (4) (5)

$\begin{align*} \frac{\partial h(\boldsymbol{\hat w})}{\partial \boldsymbol{\hat w}} &= \frac{\partial [(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})^T(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})]}{\partial \boldsymbol{\hat w}}\\ &= 2\frac{\partial (\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})^T}{\partial \boldsymbol{\hat w}}(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})\tag 2\\ &= 2\frac{\partial \boldsymbol y^T}{\partial \boldsymbol{\hat w}}(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})-2\frac{\partial (\boldsymbol X\boldsymbol{\hat {w}})^T}{\partial \boldsymbol{\hat w}}(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}}) \tag 3\\ &= 0-2\boldsymbol X^T(\boldsymbol y-\boldsymbol X\boldsymbol{\hat {w}})\tag 4\\ &= 2\boldsymbol X^T(\boldsymbol X\boldsymbol{\hat {w}}-\boldsymbol y)\tag 5\\ \end{align*}$
上述步骤(2)运用了链接博文的式(9)：
这里写图片描述

步骤(3)简单求导的拆分
步骤(4)第一项中

yT y T $\boldsymbol y^T$ 与

w^ w ^ $\boldsymbol{\hat {w}}$ 无关，所以求导为0；第二项运用了链接博文的式(6)：
这里写图片描述

最后我们令式(5)为0，此时的 $\boldsymbol{\hat {w}}$ 即为所求 $\boldsymbol w^*$

∵ 2 X T (X w^- y) = 2 X T X w^- 2 X T y = 0 ∴ X T X w^= X T y ∴ w^= (X T X) - 1 X T y ∴ w * = (X T X) - 1 X T y

$\begin{eqnarray*} &&\because 2\boldsymbol X^T(\boldsymbol X\boldsymbol{\hat {w}}-\boldsymbol y)=2\boldsymbol X^T\boldsymbol X\boldsymbol{\hat {w}}-2\boldsymbol X^T\boldsymbol y=0\\ &&\therefore \boldsymbol X^T\boldsymbol X\boldsymbol{\hat {w}}=\boldsymbol X^T\boldsymbol y\\ &&\therefore \boldsymbol{\hat {w}}=(\boldsymbol X^T\boldsymbol X)^{-1}\boldsymbol X^T\boldsymbol y\\ &&\therefore \boldsymbol w^*=(\boldsymbol X^T\boldsymbol X)^{-1}\boldsymbol X^T\boldsymbol y \end{eqnarray*}$

至此，权值向量被样本集中的数据估计出来了，完成了学习任务，当然此处仍有有待解决的问题：方阵 $\boldsymbol X^T\boldsymbol X$ 只有在满秩时才可逆，而这一条件并非所有学习任务均能满足，可以引进正则化等方法来选择非满秩时多解的 $\boldsymbol{\hat {w}}$ 。这一点以后再写。