转自：http://blog.sina.com.cn/s/blog_4a033b090100pwjq.html

求导公式(撇号为转置）：

Y = A * X --> DY/DX = A'
Y = X * A --> DY/DX = A
Y = A' * X * B --> DY/DX = A * B'
Y = A' * X' * B --> DY/DX = B * A'

矩阵求导计算法则 <wbr>例题乘积的导数

d(f*g)/dx=(df'/dx)g+(dg/dx)f'

矩阵求导计算法则 <wbr>例题

于是把以前学过的矩阵求导部分整理一下：

1. 矩阵Y对标量x求导：

相当于每个元素求导数后转置一下，注意M×N矩阵求导后变成N×M了

Y = [y(ij)]--> dY/dx = [dy(ji)/dx]

2. 标量y对列向量X求导：

注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量

y = f(x1,x2,..,xn) --> dy/dX= (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'

3. 行向量Y'对列向量X求导：

注意1×M向量对N×1向量求导后是N×M矩阵。

将Y的每一列对X求偏导，将各列构成一个矩阵。

重要结论：

dX'/dX =I

d(AX)'/dX =A'

4. 列向量Y对行向量X’求导：

转化为行向量Y’对列向量X的导数，然后转置。

注意M×1向量对1×N向量求导结果为M×N矩阵。

dY/dX' =(dY'/dX)'

5. 向量积对列向量X求导运算法则：

注意与标量求导有点不同。

d(UV')/dX =(dU/dX)V' + U(dV'/dX)

d(U'V)/dX =(dU'/dX)V + (dV'/dX)U'

重要结论：

d(X'A)/dX =(dX'/dX)A + (dA/dX)X' = IA + 0X' = A

d(AX)/dX' =(d(X'A')/dX)' = (A')' = A

d(X'AX)/dX =(dX'/dX)AX + (d(AX)'/dX)X = AX + A'X

6. 矩阵Y对列向量X求导：

将Y对X的每一个分量求偏导，构成一个超向量。

注意该向量的每一个元素都是一个矩阵。

7. 矩阵积对列向量求导法则：

d(uV)/dX =(du/dX)V + u(dV/dX)

d(UV)/dX =(dU/dX)V + U(dV/dX)

重要结论：

d(X'A)/dX =(dX'/dX)A + X'(dA/dX) = IA + X'0 = A

8. 标量y对矩阵X的导数：

类似标量y对列向量X的导数，

把y对每个X的元素求偏导，不用转置。

dy/dX = [Dy/Dx(ij) ]

重要结论：

y = U'XV= ΣΣu(i)x(ij)v(j) 于是 dy/dX = [u(i)v(j)] =UV'

y = U'X'XU 则dy/dX = 2XUU'

y =(XU-V)'(XU-V) 则 dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' - 2VU' +0 = 2(XU-V)U'

9. 矩阵Y对矩阵X的导数：

将Y的每个元素对X求导，然后排在一起形成超级矩阵。

10.乘积的导数

d(f*g)/dx=(df'/dx)g+(dg/dx)f'

结论

d(x'Ax)=(d(x'')/dx)Ax+(d(Ax)/dx)(x'')=Ax+A'x （注意：''是表示两次转置）

Notation

d/dx (y) is a vector whose (i) element is dy(i)/dx
d/dx (y) is a vector whose (i) element is dy/dx(i)
d/dx (y^T) is a matrix whose (i,j) element is dy(j)/dx(i)
d/dx (Y) is a matrix whose (i,j) element is dy(i,j)/dx
d/dX (y) is a matrix whose (i,j) element is dy/dx(i,j)

Note that the Hermitian transpose is not used because complex conjugates are not analytic.

In the expressions below matrices and vectors A, B, C do not depend on X.

Derivatives of Linear Products

d/dx (AYB) =A * d/dx (Y) * B
- d/dx (Ay) =A * d/dx (y)
d/dx (x^TA) =A
- d/dx (x^T) =I
- d/dx (x^Ta) = d/dx (a^Tx) = a
d/dX (a^TXb) = ab^T
- d/dX (a^TXa) = d/dX (a^TX^Ta) = aa^T
d/dX (a^TX^Tb) = ba^T
d/dx (YZ) =Y * d/dx (Z) + d/dx (Y) * Z

Derivatives of Quadratic Products

d/dx (Ax+b)^TC(Dx+e) = A^TC(Dx+e) + D^TC^T(Ax+b)
- d/dx (x^TCx) = (C+C^T)x
- - [C: symmetric]: d/dx (x^TCx) = 2Cx
  - d/dx (x^Tx) = 2x
- d/dx (Ax+b)^T (Dx+e) = A^T (Dx+e) + D^T (Ax+b)
- - d/dx (Ax+b)^T (Ax+b) = 2A^T (Ax+b)
- [C: symmetric]: d/dx (Ax+b)^TC(Ax+b) = 2A^TC(Ax+b)
d/dX (a^TX^TXb) = X(ab^T + ba^T)
- d/dX (a^TX^TXa) = 2Xaa^T
d/dX (a^TX^TCXb) = C^TXab^T + CXba^T
- d/dX (a^TX^TCXa) = (C + C^T)Xaa^T
- [C:Symmetric] d/dX (a^TX^TCXa) = 2CXaa^T
d/dX ((Xa+b)^TC(Xa+b)) = (C+C^T)(Xa+b)a^T

Derivatives of Cubic Products

d/dx (x^TAxx^T) = (A+A^T)xx^T+x^TAxI

Derivative of Trace

Note: matrix dimensions must result in an n*n argument for tr().

d/dX (tr(X)) = I
d/dX (tr(X^k)) =k(X^k^-1)^T
d/dX (tr(AX^k)) = SUM_r=0:k-1(X^rAX^k-r^-1)^T
d/dX (tr(AX^-1B)) = -(X^-1BAX^-1)^T
- d/dX (tr(AX^-1)) =d/dX (tr(X^-1A)) = -X^-TA^TX^-T
d/dX (tr(A^TXB^T)) = d/dX (tr(BX^TA)) = AB
- d/dX (tr(XA^T)) = d/dX (tr(A^TX)) =d/dX (tr(X^TA)) = d/dX (tr(AX^T)) = A
d/dX (tr(AXBX^T)) = A^TXB^T + AXB
- d/dX (tr(XAX^T)) = X(A+A^T)
- d/dX (tr(X^TAX)) = X^T(A+A^T)
- d/dX (tr(AX^TX)) = (A+A^T)X
d/dX (tr(AXBX)) = A^TX^TB^T + B^TX^TA^T
[C:symmetric] d/dX (tr((X^TCX)^-1A) = d/dX (tr(A (X^TCX)^-1) = -(CX(X^TCX)^-1)(A+A^T)(X^TCX)^-1
[B,C:symmetric] d/dX (tr((X^TCX)^-1(X^TBX)) = d/dX (tr( (X^TBX)(X^TCX)^-1) = -2(CX(X^TCX)^-1)X^TBX(X^TCX)^-1 + 2BX(X^TCX)^-1

Derivative of Determinant

Note: matrix dimensions must result in an n*n argument for det().

d/dX (det(X)) = d/dX (det(X^T)) = det(X)*X^-T
- d/dX (det(AXB)) = det(AXB)*X^-T
- d/dX (ln(det(AXB))) = X^-T
d/dX (det(X^k)) = k*det(X^k)*X^-T
- d/dX (ln(det(X^k))) = kX^-T
[Real] d/dX (det(X^TCX)) = det(X^TCX)*(C+C^T)X(X^TCX)^-1
- [C: Real,Symmetric] d/dX (det(X^TCX)) = 2det(X^TCX)* CX(X^TCX)^-1
[C: Real,Symmetricc] d/dX (ln(det(X^TCX))) = 2CX(X^TCX)^-1

Jacobian

If y is a function of x, then dy^T/dx is the Jacobian matrix of y with respect to x.

Its determinant, |dy^T/dx|, is the Jacobian of y with respect to x and represents the ratio of the hyper-volumes dy and dx. The Jacobian occurs when changing variables in an integration: Integral(f(y)dy)=Integral(f(y(x)) |dy^T/dx| dx).

Hessian matrix

If f is a function of x then the symmetric matrix d²f/dx² = d/dx^T(df/dx) is the Hessian matrix of f(x). A value of x for which df/dx = 0 corresponds to a minimum, maximum or saddle point according to whether the Hessian is positive definite, negative definite or indefinite.

d²/dx² (a^Tx) = 0
d²/dx² (Ax+b)^TC(Dx+e) = A^TCD + D^TC^TA
- d²/dx² (x^TCx) = C+C^T
- - d²/dx² (x^Tx) = 2I
- d²/dx² (Ax+b)^T (Dx+e) = A^TD + D^TA
- - d²/dx² (Ax+b)^T (Ax+b) = 2A^TA
- [C: symmetric]: d²/dx² (Ax+b)^TC(Ax+b) = 2A^TCA

欢迎使用Markdown编辑器

你好！这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + Shift + B
斜体：Ctrl/Command + Shift + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

~~删除文本~~

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

项目
- 项目
  - 项目

项目1
项目2
项目3

计划任务
完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$ 是通过欧拉积分

$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,.$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

关于 甘特图 语法，参考这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

这将产生一个流程图。:

graph LR
A[长方形] -- 链接 --> B((圆))
A --> C(圆角长方形)
B --> D{菱形}
C --> D

关于 Mermaid 语法，参考这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

关于 Flowchart流程图 语法，参考这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

mermaid语法说明 ↩︎
注脚的解释 ↩︎

矩阵求导公式

Notation

Derivatives of Linear Products

Derivatives of Quadratic Products

Derivatives of Cubic Products

Derivatives of Inverses

Derivative of Trace

Derivative of Determinant

Jacobian

Hessian matrix

欢迎使用Markdown编辑器

新的改变

功能快捷键

合理的创建标题，有助于目录的生成

如何改变文本的样式

插入链接与图片

如何插入一段漂亮的代码片

生成一个适合你的列表

创建一个表格

设定内容居中、居左、居右

SmartyPants

创建一个自定义列表

如何创建一个注脚

注释也是必不可少的

KaTeX数学公式

新的甘特图功能，丰富你的文章

UML 图表

FLowchart流程图

导出与导入

导出

导入

相关文章