海赛(Hesse)矩阵
海赛(Hesse)矩阵
在数学中，海色矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：
如果f所有的二阶导数都存在，那么f的海色矩阵即：
H(f)ij(x) =DiDjf(x)
其中，即
（也有人把海色定义为以上矩阵的行列式）海色矩阵被应用于牛顿法解决的大规模优化问题。
混合偏导数和海色矩阵的对称性
海色矩阵的混合偏导数是海色矩阵主对角线上的元素。
假如他们是连续的，那么求导顺序没有区别，即
上式也可写为
在正式写法中，如果f函数在区域D内连续并处处存在二阶导数，那么f的海色矩阵在D区域内为对称矩阵。
在 R^2→R 的函数的应用
给定二阶导数连续的函数，海色矩阵的行列式，可用于分辨f的临界点是属于鞍点还是极值。
对于f的临界点(x0,y0)一点，有，然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。
海色矩阵可能解答这个问题。
∙H > 0 ：若，则(x0,y0)是局部极小点；若，则(x0,y0)是局部极大点。
∙H < 0 ：(x0,y0)是鞍点。
∙H = 0 ：二阶导数无法判断该临界点的性质，得从更高阶的导数以泰勒公式考虑。
欢迎您的下载，
资料仅供参考！
致力为企业和个人提供合同协议，策划案计划书，学习资料等
等
打造全网一站式需求。
02工程优化 第2章基础知识HESSE矩阵凸集凸函数
f x f x0 f x0 ( x x0 ) o x x0
T
(5)
这与一元函数展开到两项的 Taylor 公式是相对应的。
T
x f x0 f 0 f x0 l 0 p f p x 利用方向导数定义并将上式中的fp 换成 te f (3) = x0 l , , , lim 0, 有：
T
T
x1 x2 p xn T f x0 f x0 p f x0 tf x0 e o t T lim lim f x0 e. t 0 t 0 p t t
设 x1 x1 , x2 x2 ,xn xn 是过点 x0 同时又完全在等值面（6）
f x1 , x2 ,xn r0
f x1 , x2 ,xn r0
两边同时在 0 处关于 求导数，根据求导的链式法则有：
则
f x0 t 0 0
T
f x f x f x f x , , x1 x2 xn
f x0
T
即函数f(x) 在 x0 处的梯度 f x0 与过该点在等值面上的任一条曲
线L在此点的切线垂直。
f x0 f x0 f x0 l , , , x1 x2 xn
T
证明：令 l (l1 , l2 ,, ln )T，依次取 p i ei , i 1,2,, n, i R
f 在
x0 处可微，则 (3) 对 p i ei 成立，
黑塞矩阵具体操作算法
论文题目_ 黑塞矩阵简述及其应用学院专业建筑工程学院土木工程专业2014年11月20日黑塞矩阵简述及其应用摘要黑塞矩阵于19世纪由德国数学家Ludwig Otto Hesse首次提出,目前在理论、实际中发挥着重大的作用。
本文简要介绍了黑塞矩阵并主要阐述其应用，重点结合工科学生的专业特点对其在工程实际方面的应用做了简要探讨，对黑塞矩阵的价值以及应用前景做出了较为客观的评价。
关键字：矩阵，黑塞矩阵，工程应用一.研究背景黑塞矩阵19世纪由德国数学家Ludwig Otto Hesse提出后，便在各种理论及实践中起到了极为重要的作用，不仅在高等数学中用于判定多元函数的极值，而且推广到实践中即为优化多元函数模型的各种实际问题，黑塞矩阵在工程实际中的应用不胜枚举，其应用的广泛性以及有效性促使我们不断研究它并将它同理论、实践应用相结合。
二.黑塞矩阵的历史发展黑塞矩阵（Hessian MatriX），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。
黑塞矩阵常用于牛顿法解决优化问题，经过多年的发展，目前在三维重建、中心提取、算法研究等方面都有广泛应用，极大地优化了各项技术，提高了效率。
三.黑塞矩阵的定义及性质1.定义对于一个实值多元函数如果函数的二阶偏导数都存在，则定义的黑塞矩阵为其中表示对第个变量的微分算子，。
那么，的黑塞矩阵即为2.对称性如果函数在区域内二阶连续可导，那么的黑塞矩阵在内为对称矩阵。
原因是：如果函数连续，则二阶偏导数的求导顺序没有区别，即则对于矩阵，有，所以为对称矩阵。
四．黑塞矩阵的应用黑塞矩阵在高等数学中最简单的应用就是判定多元函数的极值，推广到生活中即为优化多元函数模型的各种实际问题。
它在计算机工程、机械设计、电力工程、生物工程乃至土木工程、水利工程以及运筹学中都有广泛的应用。
海赛（Hesse）矩阵与二次型_运筹学_[共2页]
![海赛（Hesse）矩阵与二次型_运筹学_[共2页]](https://360docs-1393072327.cos.ap-beijing.myqcloud.com/77ee1902360cba1aa911da72.webp)
113第4章 非线性规划 是一部分可行域上的极小值点，称为局部极小点（或相对极小点），对应的目标函数值称为局部极小值（相对极小值）。
而D 点则是整个可行域上的极小值点，称为全局极小值点（最小值点）或绝对极小点，对应的目标函数值称为全局极小值（最小值）或绝对极小值。
此例中，约束条件[式（4.1.8）]自然对最优解是有影响的。
若不考虑约束条件，便是无约束问题。
它的最优解显然是**122,1x x ==，*()0f X =。
下面给出局部极小点和全局极小点的定义。
定义4.1.1 设f (X )为定义在n 维欧式空间E n 某一区域R 上的实函数，对于X *∈R n E ⊂，若存在某个>0ε，使得满足*<X X ε−的所有的X 都有*()()f X f X ≥ （4.1.9）则称*X 为()f X 在R 上的局部极小点，*()f X 为局部极小值。
若*()>()f X f X ，则称*X 为()f X 在R 上的严格局部极小点，*()f X 为严格局部极小值。
定义4.1.2 设f (X )为定义在n 维欧式空间E n 某一区域R 上的实函数，对于X *∈R n E ⊂，若对所有的X R ∈都有*()()f X f X ≥ （4.1.10）则称*X 为()f X 在R 上的全局极小点，*()f X 为全局极小值。
若*()>()f X f X ，则称*X 为()f X 在R 上的严格全局极小点，*()f X 为严格全局极小值。
若将上述定义中的不等号反向，则可得到极大点和极大值的定义。
下面先介绍海赛矩阵与二次型，然后讨论多元函数极值存在的条件。
4.1.3 海赛（Hesse）矩阵与二次型定义 4.1.3 设函数()f X 为定义在n 维欧式空间n E 某一区域R 上的n 元实函数，()T12,,,n X x x x = 。
若()f X 在R 上可微，令T12()()()()grad ,,,n f X f X f X f X f x x x ⎛⎞∂∂∂∇==⎜⎟∂∂∂⎝⎠（4.1.11）则称()f X ∇为()f X 的梯度向量，亦记作grad f 。
黑塞矩阵——精选推荐
⿊塞矩阵author: lunardate: Wed 02 Sep 2020 10:52:12 AM CST⿊塞矩阵(Hessian Matrix)⿊塞矩阵是⼀个多元函数的⼆阶偏导数构成的⽅阵, 描述了函数的局部曲率.⿊塞矩阵常⽤语解决优化问题, 利⽤⿊塞矩阵可判定多元函数的极值问题. 在实际⼯程问题的优化设计中,所列的⽬标函数往往很复杂, 为了使问题简化, 常常将⽬标函数在某点邻域展开成泰勒多项式来逼近原函数,此时函数在某点泰勒展开式的矩阵形式中会设计到⿊塞矩阵.⼆维函数f(x1,x2)在X(0)(x(0)1,x(0)2)处的泰勒展开式为f(x1,x2)=f(x(0)1,x(0)2)+∂f∂x1Δx1+∂f∂x2Δx2+1 2∂2f∂x21Δx21+2∂2f∂x1∂x2Δx1Δx2+∂2f∂x22Δx22+…表⽰成矩阵形式即为f(X)=f(X0)+∂f∂x1∂f∂x2Δx1Δx2+12Δx1Δx2∂2f∂x21∂2f∂x1∂x2∂2f∂x1∂x2∂2f∂x22Δx1Δx2+…其中, 记G(X(0))=∂2f∂x21∂2f∂x1∂x2∂2f∂x1∂x2∂2f∂x22G(X(0))即为f(x1,x2)在X(0)处的⿊塞矩阵.将结论扩展到多元函数:∇f(X(0))=∂f∂x1,∂f∂x2,…,∂f∂x n, 为f(X)在X(0)处的梯度.[] ()()()()()() []G (X (0))=∂2f ∂x 21∂2f ∂x 1∂x 2…∂2f∂x 1∂x n ∂2f ∂x 2∂x 1∂2f ∂x 22…∂2f∂x 2∂x n⋮⋮⋱⋮∂2f ∂x n ∂x 1∂2f ∂x n ∂x 2…∂2f ∂x 2nX (0)为函数f (X )在X (0)处的⿊塞矩阵.利⽤⿊塞矩阵判断多元函数的极值当多元函数f (x 1,x 2,…,x n )在点M 0(a 1,a 2,…,a n )的邻域内存在连续⼆阶偏导数且满⾜:∂f ∂x j(a 1,a 2,…,a n )=0,j =1,2,…,n且有A =∂2f∂x 21∂2f∂x 1∂x 2…∂2f∂x 1∂x n ∂2f∂x 2∂x 1∂2f∂x 22 (2)∂x 2∂x n⋮⋮⋱⋮∂2f ∂x n ∂x 1∂2f∂x n ∂x 2…∂2f∂x 2nX (0)则有当A 为时, f 在M 0为极⼩值;当A 为负定矩阵时, f 在M 0存在极⼤值;当A 为时, M 0不是极值点.当A 为或半负定矩阵时, M 0是"可疑"极值点.[]|[]Processing math: 100%。
海森矩阵法
海森矩阵法
海森矩阵法（Hessian matrix method）是一种用于求解函数极值点的优化算法。
它是二阶优化方法的一种，可以通过计算函数的海森矩阵（Hessian matrix）来确定函数的极值点。
海森矩阵是函数的二阶偏导数构成的矩阵，是一个正定矩阵。
通过计算海森矩阵，可以确定函数极值点的位置和性质。
海森矩阵法可以用于求解最小化或最大化问题。
对于最小化问题，通过计算海森矩阵的特征值和特征向量，可以确定极小值点的位置和优化方向。
对于最大化问题，可以通过求解海森矩阵的负值来转化为最小化问题。
海森矩阵法的一般步骤如下：
1. 计算函数的一阶偏导数和二阶偏导数，得到海森矩阵。
2. 判断海森矩阵的正定性。
如果海森矩阵是正定矩阵，则存在极小值点；如果是负定矩阵，则存在极大值点；如果是不定矩阵，则不存在极值点。
3. 如果海森矩阵是正定矩阵，可以通过求解海森矩阵的特征值和特征向量，确定极小值点的位置和优化方向。
4. 对于最大化问题，可以求解海森矩阵的负值，转化为最小化问题。
海森矩阵法相对于一阶优化方法（如梯度下降法）具有更快的收敛速度和更高的精度。
然而，由于海森矩阵的计算量较大，对于复杂的函数，计算海森矩阵的成本较高。
因此，在实际应
用中，海森矩阵法往往用于求解简单的优化问题或者作为其他优化算法的一种改进方法。
总结来说，海森矩阵法是一种基于二阶导数的优化算法，通过计算函数的海森矩阵来确定函数的极值点。
它具有较快的收敛速度和更高的精度，但在计算复杂函数时成本较高。
heese矩阵多元函数极值点
heese矩阵多元函数极值点海塞矩阵（Hessian Matrix），又译作海森矩阵，是一个多元函数的二阶偏导数构成的方阵。
虽然它是一个具有悠久历史的数学成果。
可是在机器学习和图像处理（比如SIFT和SURF特征检測）中，我们也经常遇到它。
所以本文就来向读者道一道Hessian Matrix的来龙去脉。
本文的主要内容包括：多元函数极值问题回想一下我们是如何处理求一元函数极值的问题的。
比如。
f(x)=x2，我们会先求一阶导数，即f′(x)=2x，依据费马定理极值点处的一阶导数一定等于 0。
但这仅是一个必要条件。
而非充分条件。
对于f(x)=x2来说，函数的确在一阶导数为零的点取得了极值，可是对于f(x)=x3来说，显然只检查一阶导数是不足以下定论的。
这时我们须要再求一次导，假设二阶导数 f″<0，那么说明函数在该点取得局部极大值；假设二阶导数 f″>0，则说明函数在该点取得局部极小值；假设 f″=0。
则结果仍然是不确定的，我们就不得不再通过其它方式来确定函数的极值性。
假设我们要找一个多元函数中的极值点，方法也差不多。
作为一个演示样例。
最好还是用一个三元函数 f=f(x,y,z) 来作为演示样例。
首先要对函数中的每一个变量分别求偏导数，这会告诉我们该函数的极值点可能出如今哪里。
即∂f∂x=0∂f∂y=0∂f∂x=0下一个。
继续求二阶导数，包括混合偏导数在内有9种情况。
假设用矩阵形式表示，你会得到H=⎡⎡⎡⎡⎡⎡⎡⎡⎡∂2f∂x∂x∂2f∂y∂x∂2f∂z∂x∂2f ∂x∂y∂2f∂y∂y∂2f∂z∂y∂2f∂x∂z∂2f∂y∂z∂2f∂z ∂z⎡⎡⎡⎡⎡⎡⎡⎡⎡这个矩阵就称为Hessian矩阵。
当然上面所给出的不过一个三阶的Hessian矩阵。
稍作扩展。
我们能够对一个在定义域内二阶连续可导的实值多元函数 f(x1,x2,⋯,xn) 定义其Hessian矩阵H例如以下H=⎡⎡⎡⎡⎡⎡⎡⎡⎡⎡⎡∂2f∂x21∂2f∂x2∂x1⋮∂2f∂x n∂x1∂2f∂x1∂x2∂2f∂x22⋮∂2f∂xn∂x2⋯⋯⋱⋯∂2f∂x1∂xn∂2f∂x2∂xn⋮∂2f∂x2n⎡⎡⎡⎡⎡⎡⎡⎡⎡⎡⎡当一元函数的二阶导数等于 0 时，我们并不能确定函数在该点的极值性。
hesse矩阵非正定的牛顿法
hesse矩阵非正定的牛顿法
Hesse矩阵非正定的牛顿法是用于求解非线性规划问题的一种迭代算法。
它是牛顿法的一个扩展，专门用于处理Hesse矩阵非正定（半正定）的情况。
牛顿法是一种二阶收敛的优化算法，其基本思想是利用目标函数的二阶导数（Hesse矩阵）来近似求解最优化问题。
牛顿法的迭代公式为：
x_{k+1} = x_k - [Hessian(x_k)]^{-1} gradient(x_k)
其中，x_k 表示第k 步的迭代解，Hessian(x_k) 表示在x_k 处的Hesse 矩阵，gradient(x_k) 表示在x_k 处的目标函数梯度。
当Hesse 矩阵非正定时，牛顿法可能无法收敛。
为了解决这个问题，可以使用Hesse矩阵非正定的牛顿法。
这种方法的主要思想是在每一步迭代中，使用一个正定的矩阵来近似Hesse 矩阵。
常用的正定矩阵替代方法有：Levenberg-Marquardt 方法、修正牛顿法等。
在实际应用中，Hesse矩阵非正定的牛顿法常常用于求解非线性最小二乘问题、非线性优化问题等。
需要注意的是，尽管这种方法可以处理Hesse 矩阵非正定的情况，但其收敛速度可能受到近似方法的影响。
因此，在实际问题中，需要根据具体问题特性选择合适的近似方法和参数设置。
黑塞矩阵和模型协方差矩阵
黑塞矩阵和模型协方差矩阵1. 黑塞矩阵的概念黑塞矩阵，又称为海森矩阵（Hessian Matrix），是二阶偏导数构成的方阵。
它在优化问题和数值计算中起到了重要的作用。
黑塞矩阵是一个对称矩阵，其中每个元素是二阶偏导数的导数矩阵。
2. 黑塞矩阵的应用黑塞矩阵在许多领域中都有广泛的应用，特别是在优化算法和机器学习中。
它可以提供有关函数局部性质的信息，例如极小值、鞍点和局部二次型特性。
黑塞矩阵的应用可以帮助优化算法更快地收敛，从而在求解问题时提高效率和准确性。
2.1 优化算法中的黑塞矩阵在优化算法中，黑塞矩阵被用来描述目标函数的曲率。
通过分析黑塞矩阵的特征值，可以判断目标函数的最小值、最大值或鞍点的存在。
根据这些信息，可以选择合适的优化算法来优化目标函数。
2.2 机器学习中的黑塞矩阵在机器学习中，黑塞矩阵有助于解决参数估计问题。
通过对参数估计模型的损失函数计算黑塞矩阵，可以得到模型参数的方差估计和相关性。
这对于模型的可靠性评估和参数的置信区间估计非常重要。
3. 模型协方差矩阵的概念模型协方差矩阵是描述模型参数之间相关性的矩阵。
它是一个对称矩阵，其中每个元素表示对应参数之间的协方差。
模型协方差矩阵可以通过训练数据和模型参数的估计得到。
3.1 协方差矩阵的定义协方差矩阵是描述两个随机变量之间关系的矩阵。
在机器学习中，模型参数可以视为随机变量，其协方差矩阵用于表示参数之间的关系。
协方差矩阵的对角线元素表示各个参数的方差，非对角线元素表示参数之间的协方差。
3.2 模型协方差矩阵的应用模型协方差矩阵在机器学习中被广泛应用于参数估计、模型选择和模型优化等方面。
它可以提供关于参数的置信区间、参数选择的准则和模型优化的方向等重要信息。
4. 黑塞矩阵和模型协方差矩阵之间的关系黑塞矩阵和模型协方差矩阵之间存在一定的联系。
在某些情况下，黑塞矩阵的逆和模型参数的方差估计矩阵相等。
4.1 黑塞矩阵和模型协方差矩阵的关系对于具有凸损失函数的模型，黑塞矩阵的逆等于模型参数的方差估计矩阵。
第二章 目标函数的基本性质及数学分析
第二章目标函数的基本性质及数学分析2.1 目标函数的等值面（线）对于简单的问题，可用等值线或等值面来描述函数的变化趋势，还可以直观地给出极值点的位置。
1）目标函数的等值面，其数学表达式为f(x)=c。
在这种线或面上所有点的函数值均相等，因此，这种线或面就称为函数的等值线或等值面。
当c取一系列不同的常数值时，可以得到一组形态相似的等值线或等值面，称为函数的等值线簇或等值面簇。
2）当n=2时，该点集是设计平面中的一条直线或曲线；例1（图2.1）。
例1 目标函数f(x)＝一60x1一120x2的等值线族。
这是一组相互平行的直线，函数值沿箭头所指方间逐渐下降。
如图2.1所示。
图2.1函数的等值线簇3）当n=3时，该点集是设计空间中的一个平面或曲面；例2。
例2 函数f(x)＝x l2十x22一4x1十4的图形(旋转抛物面)，以及用平面f(X)＝c切割该抛物面所得交线在设计空间中的投影。
如图2.2所示。
4）当n大于3时，该点集是设计空间中的一个超曲面。
图2.2 函数的等值面簇2.2 目标函数的方向导数和梯度实例：一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)．在坐标原点处有一个火焰，它使金属板受热．假定板上任意一点处的温度与该点到原点的距离成反比．在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？问题的实质：应沿由热变冷变化最骤烈的方向（即梯度方向）爬行．2.2.1方向导数的定义讨论函数),(y x f z =在一点P 沿某一方向的变化率问题．定理 如果函数),(y x f z =在点),(y x P 是可微分的，那末函数在该点沿任意方向L 的方向导数都存在，且有ϕϕsin cos yf x f l f ∂∂+∂∂=∂∂，其中ϕ为x 轴到方向L 的转角．例2.1 求函数 yxe z 2= 在点 )0 ,1(P 处沿从点 )0 ,1(P到点 )1 ,2(-Q 的方向的方向导数.解： 这里方向 l 即为}1 ,1{-=PQ , 故x 轴到方向 l 的转角4πϕ-=.=∂∂)0,1(xz 由 )0,1(2ye=1=∂∂)0,1(yz )0,1(22yxe =2故方向导数=∂∂lz )4sin(2)4cos(1ππ-⋅+-⋅= .22-=2.2.2梯度的定义函数在一点的梯度是这样一个向量, 它的方向与取得最大方向导数的方向一致, 而它的模为方向导数的最大值. 用u ∇定义2.4 以)(x f 的n 个偏导数为分量的向量称为)(x f 在x 处的梯度，记为Tn x x f x x f x x f x f ⎥⎦⎤⎢⎣⎡∂∂∂∂∂∂=∇)(,,)(,)()(21梯度也可以称为函数)(x f 关于向量x 的一阶导数．2.2.3、梯度与方向导数之间的关系(1) 若0)(0<∇P x f T ，则P 的方向是函数)(x f 在点0x 处的下降方向； (2) 若0)(0>∇P x f T ，则P 的方向是函数)(x f 在点0x 处的上升方向． 方向导数的正负决定了函数值的升降，而升降的快慢就由它的绝对值大小决定．绝对值越大，升降的速度就越快，即由此可得如下重要结论(如图2.1所示）： (1)梯度方向是函数值的最速上升方向； (2)函数在与其梯度正交的方向上变化率为零；(3)函数在与其梯度成锐角的方向上是上升的，而在与其梯度成钝角的方向上是下降的；(4)梯度反方向是函数值的最速下降方向．例2.2：求函数y x z y x u 2332222-+++=在点)2,1,1(、)0,21,23(-处的梯度，并问在哪些点处梯度为零？k z u j y u i x u z y x u ∂∂+∂∂+∂∂=∇),,( ,6)24()32(k z j y i x +-++=.1225)2,1,1(k j i u ++=∇ 0)0,21,23(=-∇u例2.3 试求目标函数1)(2221++=x x X f 在点TX ]30[0，=处的最速下降方向，并求沿这个方向移动一个单位长后新点的目标函数值．解 因为221122x x f x x f =∂∂=∂∂，，所以最速下降方向是⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇-==6022)(3021021x x x x X f ．这个方向上的单位向量是⎥⎦⎤⎢⎣⎡-=∇-∇-=10)()(00X f X f e ．故新点是⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡=+=20103001e X X ，2.2.4小结1、方向导数的概念（注意方向导数与一般所说偏导数的区别） 2、梯度的概念（注意梯度是一个向量） 3、方向导数与梯度的关系 思考题：一、讨论函数22),(yx y x f z +==在)0,0(点处的偏导数是否存在？方向导数是否存在？ 答：xf x f xz x ∆-∆=∂∂→∆)0,0()0,(lim)0,0( .||limxx x ∆∆=→∆同理：)0,0(yz ∂∂yy y ∆∆=→∆||lim故两个偏导数均不存在.图2.1沿任意方向},,{z y x l =的方向导数, ρρ)0,0(),(lim)0,0(f y x f lz -∆∆=∂∂→ 1)()()()(lim22220=∆+∆∆+∆=→y x y x ρ故沿任意方向的方向导数均存在且相等.2.3 多元目标函数的泰勒表达式和海赛矩阵2.3.1 海赛（Hesse ）矩阵前面说过，梯度)(x f ∇是)(x f 关于x 的一阶导数，现在要问)(x f 关于x 的二阶导数是什么？定义 ： 如果)(x f 在点0x 处对于自变量x 的各分量的二阶偏导数ji x x x f ∂∂∂)(2（n j i ,,2,1, =）都存在，则称函数)(x f 在点0x 处二阶可导，并且称矩阵⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=∇n n nn nn x x x f x x x f xx x f x x x f x x x f xx x f x x x f x x x f x x x f x f )()()()()()()()()()(02202102202220212021022102110202是)(x f 在点0x 处的Hesse 矩阵．在数学分析中已经知道，当)(x f 在点0x 处的所有二阶偏导数为连续时有．，，，，，n j i x x f x x f ij ji 2122=∂∂∂=∂∂∂因此，在这种情况下Hesse 矩阵是对称的． 例2.4 求目标函数23132221233241432)(x x x x x x x x x X f -+-++=的梯度和Hesse 矩阵． 解 因为，，，3123332122223213112464624x x x x x f x x x x f x x x x x f -+=∂∂+-=∂∂--=∂∂，所以 ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-++---=∇3123321222321312464624)(x x x x x x x x x x x X f ．又因为22221213211213222212222331222212462f f f x x x x xx x x x f f f x x x x x x ∂∂∂=-=-=-∂∂∂∂∂∂===-∂∂∂，，，，，，所以⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡------=∇13213122122642412222212)(x xx x x x x x X f ．例2.5 设1R b R X R a nn∈∈∈，，，求线性函数bX a X f T+=)(在任意点X 处的梯度和Hesse 矩阵．解 设Tn Tn x x x X a a a a ][][2121，，，，，，， ==，则∑=+=ni iin bxa x x x f 121)(，，， ，，，，，，n i a x f i i21==∂∂ （2.2）∴aa a a X f Tn ==∇],,,[)(21 ．由式（2.2）进而知，，，，，，n j i x x fji 2102==∂∂∂∴O X f =∇)(2（n n ⨯阶零矩阵）．2.3.2 多元目标函数的泰勒表达式定理 1 （泰勒(Taylor)中值定理） 如果函数)(x f 在含有0x 的某个开区间(b a ,)内具有直到(1+n )阶的导数，则当任一),(b a x ∈，有++-''+-'+= 200000)(!2)())(()()(x x x f x x x f x f x f)()(!)(00)(x R x x n x fn nn +-, （3）其中 10)1()()!1()()(++-+=n n n x x n fx R ξ，对于n 维向量的xxxf x x xf xf x f Tk T Tk k ∆⋅∇∆+∆⋅∇+≈)(21)()()()(2)()(2.4 目标函数的极值条件2.4.1 无约束问题的极值条件1.必要条件：梯度等于0即： 0)(,,)(,)()(*21*=⎥⎦⎤⎢⎣⎡∂∂∂∂∂∂=∇Txn x x f x x f x x f x f 2.充分条件：海赛矩阵>0 正定，有极小值海赛矩阵<0 负定，有极大值2.4.2 有约束问题的极值条件（1）目标函数的凸性与凸函数研究目标函数的凸性是为了分清目标函数的极小值在什么情况是极大值什么情况是极小值。
Hessian矩阵
引用海赛(Hesse)矩阵Hessian矩阵是多维变量函数的二阶偏导数矩阵，H（i,j)=d^2(f)/(d(xi)d(xj))它是对称的。
如果是正定的的可用导数=0的变量组确定它的极小值，负定的确定它的极大值，否则无法确定极值。
1.极值（极大值或极小值）的定义设有定义在区域D Rn上的函数 y=f(x)=f(x1,...,xn) . 对于区域D的一内点x0=(x10,...,xn0)，若存在x0的一个邻域UD，使得f(x)≤f(x0) x∈U则称x0是f(x)的极大点，f(x0)称为f(x)的极大值.相反，如f(x)≥f(x0) x∈U则称x0是f(x)的极小点，f(x0)称为f(x)的极小值.2.海赛（Hessian）矩阵设函数y=f(x)=f(x1,...,xn)在点x0=(x10,...,xn0)的一个邻域内所有二阶偏导数连续，则称下列矩阵H为f(x)在x0点的海赛矩阵.显然海赛矩阵是对称的，从而它的所有特征根均为实数.3.极值存在的必要条件若x0是f(x)的极值点，如果存在，则进一步设在一个邻域内所有二阶导数连续，H为在点x0的海赛矩阵.则（1）x0是f(x)的极小点H≥0，即H 的特征根均为非负.（2）x0是f(x)的极大点H≤0，即H的特征根为非正.若在x0点有，则称x0是f(x)的临界点，f(x0)为临界值.4.极值存在的充分条件设f(x)在x0的一个邻域内所有二阶偏导数连续，且x0是f(x)的临界点（即），H为f(x)在x0点的海赛矩阵，则（1）H>0，即H为正定矩阵x0是f(x)的极小点.（2）H<0，即H为负定矩阵x0是f(x)的极大点.（3）H的特征根有正有负x0不是f(x)的极值点.（4）其余情况，则不能判定x0是或者不是f(x)的极值点.5.二元函数极值存在的充分条件作为4的特例。
观察二元函数极值存在的充分条件.设z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续，且,记 .那么，海赛矩阵.（1）若A>0，detH=AC-B2>0，则H正定，从而(x0,y0)是f(x,y)的极小点.（2）若A<0，detH=AC-B2>0，则H负定，从而(x0,y0)是f(x,y)的极大点.（3）若detH=AC-B2<0，则H的特征根有正有负，从而(x0,y0)不是f(x,y)的极值点.（4）若detH=AC-B2=0，则不能判定(x0,y0)是否为f(x,y)的极值点.6.条件极值求函数 y=f(x)=f(x1,...,xn) x∈DRn （1），在约束条件：qk(x)=qk(x1,...,xn)=0，k=1,...,m，m<n （2），下的极值，称为条件极值问题.此处，假设雅可比矩阵的秩在D内处处为m，即保证m个约束条件是独立的.直接代入法从约束条件（2）中直接解出m个变量，代入到（1）中，将问题化为求n-m 个变量函数的直接极值问题.拉格朗日（Lagrange）乘数法引入拉格朗日函数：（3）其中λ1，...，λm称为拉格朗日乘子，是待定常数.条件极值问题（1）和（2）可化为求拉格朗日函数（3）的直接极值问题.（1) 若x0为(1)和(2)的条件极值点,则x0满足方程组满足上述方程组的点称为条件极值问题的临界点.显然极值点为临界点,而临界点未必一定是极值点.（2)若x0是临界点, HL为拉格朗日函数L在x0点的海赛矩阵, 则可按4中给出的极值存在的充分条件,由HL的正定、负定或不定,判断x0是极小点、极大点或不是极值点.。