Hessian矩阵复习进程

H e s s i a n矩阵

引用海赛(Hesse)矩阵

microfisher的海赛(Hesse)矩阵

海色矩阵

在数学中，海色矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

如果f所有的二阶导数都存在，那么f的海色矩阵即：

H(f)ij(x) = DiDjf(x)

其中，即

（也有人把海色定义为以上矩阵的行列式）海色矩阵被应用于牛顿法解决的大规模优化问题。

混合偏导数和海色矩阵的对称性

海色矩阵的混合偏导数是海色矩阵主对角线上的元素。假如他们是连续的，那么求导顺序没有区别，即

上式也可写为

在正式写法中，如果f函数在区域D内连续并处处存在二阶导数，那么f的海色矩阵在D区域内为对称矩阵。

在R^2→R 的函数的应用

给定二阶导数连续的函数，海色矩阵的行列式，可用于分辨f的临界点是属于鞍点还是极值。

对于f的临界点(x0,y0)一点，有，然而凭一阶导数不能判断它是鞍

点、局部极大点还是局部极小点。海色矩阵可能解答这个问题。

?H > 0 ：若，则(x0,y0)是局部极小点；若，则(x0,y0)是局部极大点。

?H < 0 ：(x0,y0)是鞍点。

?H = 0 ：二阶导数无法判断该临界点的性质，得从更高阶的导数以泰勒公式考虑。Hessian矩阵是多维变量函数的二阶偏导数矩阵，H（i,j)=d^2(f)/(d(xi)d(xj))

它是对称的。如果是正定的的可用导数=0的变量组确定它的极小值，负定的确定它的极大值，否则无法确定极值。

1.极值（极大值或极小值）的定义

设有定义在区域D Rn上的函数 y=f(x)=f(x1,...,xn) . 对于区域D的一内点

x0=(x10,...,xn0)，若存在x0的一个邻域UD，使得

f(x)≤f(x0) x∈U

则称x0是f(x)的极大点，f(x0)称为f(x)的极大值.

相反，如

f(x)≥f(x0) x∈U

则称x0是f(x)的极小点，f(x0)称为f(x)的极小值.

2.海赛（Hessian）矩阵

设函数y=f(x)=f(x1,...,xn)在点x0=(x10,...,xn0)的一个邻域内所有二阶偏导数连续，则称下列矩阵H为f(x)在x0点的海赛矩阵.

显然海赛矩阵是对称的，从而它的所有特征根均为实数.

3.极值存在的必要条件

若x0是f(x)的极值点，如果存在，则

进一步设在一个邻域内所有二阶导数连续，H为在点x0的海赛矩阵.则

（1）x0是f(x)的极小点H≥0，即H 的特征根均为非负.

（2）x0是f(x)的极大点H≤0，即H的特征根为非正.

若在x0点有，则称x0是f(x)的临界点，f(x0)为临界值.

4.极值存在的充分条件

设f(x)在x0的一个邻域内所有二阶偏导数连续，且x0是f(x)的临界点（即），H为f(x)在x0点的海赛矩阵，则