「雅可比矩阵」雅可比矩阵与海森矩阵

雅可比矩阵

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。其行列式称为雅可比行列式。

一、jacobian矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数。

$y_{1}=a_{11}x_{1}+a_{12}x_{2}+...+a_{1n}x_{n}$

$y_{2}=a_{21}x_{1}+a_{22}x_{2}+...+a_{2n}x_{n}$

. . .

$y_{m}=a_{m1}x_{1}+a_{m2}x_{2}+...+a_{mn}x_{n}$

即：

$\begin{bmatrix} a_{11}& a_{12}& ... & a_{1n}\\ a_{21} & a_{22} &... &a_{2n} \\ ...& ... & ... &... \\ a_{m1}& a_{m2} &... & a_{mn} \end{bmatrix} \begin{bmatrix} x_{1}\\ x_{2}\\ ...\\ x_{n} \end{bmatrix} = \begin{bmatrix} y_{1}\\ y_{2}\\ ...\\ y_{m} \end{bmatrix}$

假设F: Rn→Rm是一个从欧式n维空间转换到欧式m维空间的函数。这个函数F由m个实函数组成: y1(x1,…,xn), …, ym(x1,…,xn)。这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵(m*n),对应一阶偏导数：

表示为:

如果p是Rn中的一点, F在p点可微分, 那么在这一点的导数由JF(p)给出(这是求该点导数最简便的方法). 在此情况下, 由F(p)描述的线性算子即接近点p的F的最优线性逼近, x逼近于p:

二、海森矩阵

在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

$f(x_1, x_2, \dots, x_n),$

如果 f 所有的二阶导数都存在，那么 f 的海森矩阵即：

$H(f)_{ij}(x) = D_i D_j f(x)$

其中 $x = (x_1, x_2, \dots, x_n)$ ，即

$H(f) = \begin{bmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\ \\\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\ \\\vdots & \vdots & \ddots & \vdots \\ \\\frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2}\end{bmatrix}$

三、梯度向量、Jacobian矩阵和Hessian矩阵

这里讨论的三个概念：梯度向量、Jacobian矩阵和Hessian矩阵

它的自变量： $x=(x_{1},x_{2},...,x_{n})^{T}$

因变量有两种情况：

一维f(x)：

　　此时的一阶导数构成的向量为梯度向量g(x)

　　二阶导数构成的矩阵为Hessian矩阵

多维 $f(x)=(f_{1}(x),f_{2}(x),...,f_{m}(x))^{T}$ ：

　　此时的一阶导数构成的矩阵为Jacobian矩阵

雅可比矩阵与海森矩阵