【课件】最优化(华南理工)第2章(07-3)
合集下载
最优化理论与方法概述 ppt课件
t f X0 tpT p t pT 2 f X0 tp p.
PPT课件
17
3、 多元函数的Taylor展开
多元函数Taylor展开式在最优化理论中十分重要。 许多方法及其收敛性的证明都是从它出发的。
定理：设 f : Rn R具1 有二阶连续偏导数。则：
g* f (x*) 0，G* 2 f (x*)半正定
PPT课件
24
5、凸集、凸函数和凸规划
凸集和凸函数在非线性规划的理论中具有重要作用，下面 给出凸集和凸函数的一些基本知识。
定义1 设 D Rn，若对D中任意两点 x(1)与 x(2)，连接 x(1)
与 x(2) 的线段仍属于D；换言之，对 x(1)，x(2)∈D，
配料
每磅配料中的营养含量
钙
蛋白质
纤维
石灰石 谷物 大豆粉
0.380 0.001 0.002
0.00
0.00
0.09
0.02
0.50 PPT课件
0.08
每磅成本（元）
0.0164 0.0463 0.1250 4
解:根据前面介绍的建模要素得出此问题的数学模型如下:
设 x1 x2 x3 是生产100磅混合饲料所须的石灰石、谷物、
2 f 0 x1x3
故Hesse阵为：
2 f x22
2,
2 f 2, x2x3
2 f x32Leabharlann 2 2 2 0 2 f X 2 2 2
0 2 2
PPT课件
16
下面几个公式是今后常用到的：
（1）f X bT X ，则 f X b. 2 f X 0nn
2 f X
PPT课件
17
3、 多元函数的Taylor展开
多元函数Taylor展开式在最优化理论中十分重要。 许多方法及其收敛性的证明都是从它出发的。
定理：设 f : Rn R具1 有二阶连续偏导数。则：
g* f (x*) 0，G* 2 f (x*)半正定
PPT课件
24
5、凸集、凸函数和凸规划
凸集和凸函数在非线性规划的理论中具有重要作用，下面 给出凸集和凸函数的一些基本知识。
定义1 设 D Rn，若对D中任意两点 x(1)与 x(2)，连接 x(1)
与 x(2) 的线段仍属于D；换言之，对 x(1)，x(2)∈D，
配料
每磅配料中的营养含量
钙
蛋白质
纤维
石灰石 谷物 大豆粉
0.380 0.001 0.002
0.00
0.00
0.09
0.02
0.50 PPT课件
0.08
每磅成本（元）
0.0164 0.0463 0.1250 4
解:根据前面介绍的建模要素得出此问题的数学模型如下:
设 x1 x2 x3 是生产100磅混合饲料所须的石灰石、谷物、
2 f 0 x1x3
故Hesse阵为：
2 f x22
2,
2 f 2, x2x3
2 f x32Leabharlann 2 2 2 0 2 f X 2 2 2
0 2 2
PPT课件
16
下面几个公式是今后常用到的：
（1）f X bT X ，则 f X b. 2 f X 0nn
2 f X
【课件】运筹学与最优化方法(华南理工)第3章(07-4)
的最优解S(k)和最优值
(k +1) (k ) (k )
q(S(k) )
(k + 1) (k )
) f (X = X + S 若 f (X (3)令 X 取 X * = X (k+1) ,停止,否则转(4) (4)计算 f = f (X (k) ) f (X (k+1) ), q = f (X (k) ) q(S(k) ) 1/ 2k ..若 f < 0.1q 令
第三章
无约束非线性规划
3.4 信赖域法, Matlab解无约束非线性规划
一.信赖域法: 1.思想: 1) 前两节方法的结构原理为用二次模型产生下降方 向,在下降方向上确定可接受的步长,得到新迭代点. 若二次模型不近似原目标函数,则在搜索方向上无 法找到满意的下降迭代点. 能否先指定步长的界,再用二次模型确定方向和步 长? *注:保证在下近似,可使f(x)与 二次模
y(1) = x +α(x xmax )
2 扩展:给定扩展系数 >1,计算.(加速) 扩展:给定扩展系数γ 计算.(加速) 计算.(加速
y(2) = x +γ ( y(1) x)
3.5 直接算法
一, 2,改进单纯形法: (续) ,改进单纯形法: (1)若f(y(1))<f(x min), 则 若 那么y 取代x 否则, 取代x 若f(y(1))> f(y(2)), 那么 (2)取代 max; 否则, y(1)取代 max (2)若max{f(x(i))| x(i) ≠x max } ≥ f(y(1)) ≥ f(x min), y(1)取代 max . 取代x 若 3° 收缩:若f(x max )> f(y(1)) > f(x(i)), x(i) ≠x max ,计算 ° 收缩: 计算
最优化 PPT课件
• 另外也可用学术味更浓的名称：“运筹 学”。由于最优化问题背景十分广泛，涉 及的知识不尽相同，学科分枝很多，因此 这个学科名下到底包含哪些分枝，其说法 也不一致。
• 比较公认的是：“规划论”（包括线性和
非线性规划、整数规划、动态规划、多目
标规划和随机规划等），“组合最优化”，
“对策论”及“最优控制”等等。
j
1, 2,L
,n
(5)
14
nn
min
cij xij
i 1 j 1
n
xij 1, i 1, 2,L
,n
s.t.
j 1 n
(5)
xij 1, j 1, 2,L , n
i1
xij
0
或 1 ,i,
j
1, 2,L
,n
(5)的可行解既可以用一个矩阵(称为解矩阵)表示，其每行每列均有且只
mn
min
cij xij
i 1 j 1
n
xij ai ,
i 1, , m
j 1
s.t.
m xij bj ,
j 1,2, , n
i 1
xij
0
11
对产销平衡的运输问题，由于有以下关系式存在：
n
bj
j1
m
i1
n xij
j1
n m
j1 i1
xij
费的总时间最少？
引入变量 xij ，若分配 i 干 j 工作，则取 xij 1，否则取 xij 0 。上
述指派问题的数学模型为
nn
min
cij xij
i 1 j 1
n
xij 1,i 1, 2,L
,n
j1
第二章 线性规划--最优化方法课件
24
定理2.1.5证明(思路)
(i)x*为局部极小点,若存在x0使得f(x0)<f(x*), 则f (t x0 +(1-t) x*)≤t f (x0)+(1-t) f (x*) 令 t 取一个足够小的正数,可导出矛盾.
(ii)若存在x*,y*都是整体极小点(f (x*)=f (y*)), 则f (t x*+(1-t)y*)<t f (x*)+(1-t) f (y*)=f (x*) 矛盾.
20
凸函数的判断
21
一阶条件
定理2.1.2 (一阶条件) 设在凸集D Rn上f(x)可微,则f(x)在D上为凸函 数的充要条件是对任意的x,y ∈ D,都有 f(y)≥f(x)+ f(x)T(y-x) 定理2.1.3 (一阶条件) 设在凸集D Rn上f(x)可微,则f(x)在D上为严格凸 函数的充要条件是对任意的x,y ∈ D, x≠y,都有 f(y)>f(x)+ f(x)T(y-x)
解:令x4=7-(x1+x2+x3), x5=(x1-x2+x3)-2,再令 x3=x3’-x3’’,得到标准型 min y=2x1-x2-3x3’+3x3’’ s.t. x1+x2+x3’-x3’’+x4=7 x1-x2+x3’-x3’’-x5=2 -3x1-x2+2x3’-2x3’’=5 x1,x2,x3’,x3’’,x4,x5≥0
5
凸集的例
例2.1.2 超球||x||≤r为凸集 证明 设x,y为超球中任意两点, ≤a≤1,则有 ||ax+(1-a)y||≤a||x||+(1-a)||y|| ≤a r+(1-a) r = r, 即点ax+(1-a)y属于超球,所以超球为凸集.
定理2.1.5证明(思路)
(i)x*为局部极小点,若存在x0使得f(x0)<f(x*), 则f (t x0 +(1-t) x*)≤t f (x0)+(1-t) f (x*) 令 t 取一个足够小的正数,可导出矛盾.
(ii)若存在x*,y*都是整体极小点(f (x*)=f (y*)), 则f (t x*+(1-t)y*)<t f (x*)+(1-t) f (y*)=f (x*) 矛盾.
20
凸函数的判断
21
一阶条件
定理2.1.2 (一阶条件) 设在凸集D Rn上f(x)可微,则f(x)在D上为凸函 数的充要条件是对任意的x,y ∈ D,都有 f(y)≥f(x)+ f(x)T(y-x) 定理2.1.3 (一阶条件) 设在凸集D Rn上f(x)可微,则f(x)在D上为严格凸 函数的充要条件是对任意的x,y ∈ D, x≠y,都有 f(y)>f(x)+ f(x)T(y-x)
解:令x4=7-(x1+x2+x3), x5=(x1-x2+x3)-2,再令 x3=x3’-x3’’,得到标准型 min y=2x1-x2-3x3’+3x3’’ s.t. x1+x2+x3’-x3’’+x4=7 x1-x2+x3’-x3’’-x5=2 -3x1-x2+2x3’-2x3’’=5 x1,x2,x3’,x3’’,x4,x5≥0
5
凸集的例
例2.1.2 超球||x||≤r为凸集 证明 设x,y为超球中任意两点, ≤a≤1,则有 ||ax+(1-a)y||≤a||x||+(1-a)||y|| ≤a r+(1-a) r = r, 即点ax+(1-a)y属于超球,所以超球为凸集.
《最优化理论》课件
机器学习中的应用
介绍最优化理论在神经网络训练 中的作用。
工程优化中的应用
应用最优化理论优化机械设计和 自动化控制系统。
总结
通过本课程的学习，您掌握了最优化理论的基本知识和应用方法，为实际问 题的解决提供了有力工具和支持。期待您在未来能够更好地应用这些知识， 为创新和发展做出更大的贡献。
凸优化问题的定义
详细讲解凸优化问题的定义和常用求解方法。
对偶问题
讲解凸优化问题的对偶问题和应用案例。
其他优化问题
1
整数规划
讲解整数规划在实际问题中的应用及其求解方法。
2
半正定规划
介绍半正定规划的定义和求解方式。
3
非线性规划
学习非线性规划问题的求解方法和应用案例。
应用案例
Hale Waihona Puke 经济学中的应用讲解最优化理论在竞争市场模型 中的应用。
数学符号与常用概念
介绍数学符号的含义和常用概念，为后 续学习内容打下基础。
一元函数的最优化问题
讲解一元函数求极值的方法，如牛顿法 和梯度下降法等。
无约束优化问题
一维搜索法
介绍线性搜索和二分搜索等一维 搜索算法。
牛顿法
讲解牛顿法的动机和实现方式。
梯度下降法
详细介绍梯度下降法的原理和特 点。
共轭梯度法
《最优化理论》PPT课件
最优化理论是数学中一项重要的领域，涉及到许多实际问题的求解，如经济 学、机器学习和工程优化等。本课程将为您介绍最优化理论的基础知识和应 用案例，帮助您深入了解这个精彩的领域。
优化理论的基础知识
1
函数的极值
2
学习函数的最值概念和求解方法。
3
多元函数的最优化问题
最优化第二章解析PPT课件
例2.6 考虑例2.5中的线性规划关于 B0 [a4,a2] 的
G-J方程组
x1 2x3 x4 1
x1 x2 x3 4 试把 a1 [1,1]T 和 a3 [2,1]T分别引入基，求新的基本
容许解。
ⅱ）下降性条件
新解 x x x N B b 1 , ,b k 1 ,0 ,b k 1 , ,b m ,0 , ,0 ,b k ,0 , ,0 T 。x N
那么，B 是容许基，且关- 于 B 的基本容许解的 7
目标函数值小于关于 B 的基本容许解的目标函数值。 定理2.12 在标准线性规划（2.21）中，假设： ⅰ）B[a1,a2, ,am ]是容许基；
ⅱ）非基本变量 x l 的判别数 l 0 ；
ⅲ）al B1al 0。 那么线性规划（2.21）存在可以使目标函数值任意减小的 容许解。
-
13
3. 初始基本容许解的产生
对于标准线性规划
m in c T x
s .t. A x b
（2.54）
x
0
,
引入 m 个人工变量 u1,u2, ,um，求解辅助线性规划——
一个典范线性规划
其中 e1,1,
m in e T u
s.t. Iu A x b
u
0,
x
0
,
,1T。
（2.55）
a1lxl
a1nxn b1
a2m1xm1 a2lxl a2nxn b2 （2.29）
xmamm1xm1 a- mlxl amnxn bm.
2
（2.29）称为关于基 B 的Gauss-Jordan方程组（G-J方程组）
典范线性规划的主约束即是一个G-J方程组。
G-J方程组的性质：
最优化及最优化方法讲稿
最优化及最优化方法讲稿ppt xx年xx月xx日CATALOGUE目录•最优化问题概述•线性规划问题及其求解方法•非线性规划问题及其求解方法•动态规划问题及其求解方法•最优化算法的收敛性分析•最优化算法的鲁棒性分析•最优化算法的应用举例 - 解决生产调度问题01最优化问题概述最优化问题是一个寻找某个或多个函数的特定输入，以使该函数的输出达到最小或最大的问题。
定义根据不同的分类标准，可以将最优化问题分为线性规划、非线性规划、多目标规划、约束规划等。
分类最优化问题的定义与分类描述所追求的最小或最大值的函数。
目标函数约束条件数学模型限制搜索范围的约束条件。
目标函数和约束条件的数学表达。
03最优化问题的数学模型0201最优化问题的求解方法牛顿法利用目标函数的Hessian矩阵（二阶导数矩阵）进行搜索。
梯度下降法迭代搜索，逐步逼近最优解。
混合整数规划将整数变量引入优化模型中，求解整数规划问题。
模拟退火算法以概率接受劣质解，避免陷入局部最优解。
进化算法模拟生物进化过程的启发式搜索算法。
02线性规划问题及其求解方法线性规划问题定义：在一组线性约束条件下，求解一组线性函数的最大值或最小值的问题。
数学模型：将实际问题转化为线性规划模型，包括决策变量、目标函数和约束条件。
线性规划问题的求解方法 - 单纯形法基本概念：介绍单纯形法的相关概念，如基、可行解、最优解等。
单纯形法步骤：阐述单纯形法的基本步骤和算法流程，包括初始基可行解的求解、最优解的迭代搜索和最终最优解的确定。
单纯形法改进：介绍一些改进的单纯形法，如简化单纯形法、对偶单纯形法等。
线性规划问题的定义与数学模型通过一个具体的生产计划问题，说明如何建立线性规划模型并进行求解。
生产计划问题通过一个配货问题，说明如何运用线性规划模型解决实际问题。
配货问题通过一个投资组合优化问题，说明如何运用线性规划进行风险和收益的平衡。
投资组合优化问题线性规划问题的应用举例03非线性规划问题及其求解方法非线性规划问题定义：非线性规划问题是一类求最优解的问题，其中目标函数和约束条件均为非线性函数。
最优化及最优化方法讲稿课件
1939年前苏联数学家Л.B.Канторович提出 了解决下料问题和运输问题这两种线性规划问题的求解 方法。
最优化的发展简史
以苏联 Л.В.康托罗维奇和美国G.B.丹齐克为 代表的线性规划；
以美国库恩和塔克尔为代表的非线性规划；以 美国R.贝尔曼为代表的动态规划；
以苏联Л.С.庞特里亚金为代表的极大值原理 等。这些方法后来都形成体系，成为近代很活跃 的学科，对促进运筹学、管理科学、控制论和系 统工程等学科的发展起了重要作用。
最优化的发展简史
第二次世界大战前后，由于军事上的需要和科 学技术和生产的迅速发展，许多实际的最优化问 题已经无法用古典方法来解决，这就促进了近代 最优化方法的产生。
近代最优化方法的形成和发展过程中最重要 的事件有：
1847年法国数学家Cauchy研究了函数值沿什么方向下 降最快的问题，提出最速下降法。
② 最优最计划优:现化代方国民法经的济具或部体门应经济用的举计划例，直
至企业的发展规划和年度生产计划，尤其是农业 规划、种植计划、能源规划和其他资源、环境和 生态规划的制订,都已开始应用最优化方法。一个 重要的发展趋势是帮助领导部门进行各种优化决策。
③最优管理：一般在日常生产计划的制订、调度和 运行中都可应用最优化方法。随着管理信息系统 和决策支持系统的建立和使用，使最优管理得到 迅速的发展。
最优化的发展简史
但是最优化方法真正形成为科学方法则在17世 纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所创 建的微积分中，提出求解具有多个自变量的实值 函数的最大值和最小值的方法，后来又出现 Lagrange乘数法。以后又进一步讨论具有未知 函数的函数极值，从而形成变分法。这一时期的 最优化方法可以称为古典最优化方法。
最优化的发展简史
以苏联 Л.В.康托罗维奇和美国G.B.丹齐克为 代表的线性规划；
以美国库恩和塔克尔为代表的非线性规划；以 美国R.贝尔曼为代表的动态规划；
以苏联Л.С.庞特里亚金为代表的极大值原理 等。这些方法后来都形成体系，成为近代很活跃 的学科，对促进运筹学、管理科学、控制论和系 统工程等学科的发展起了重要作用。
最优化的发展简史
第二次世界大战前后，由于军事上的需要和科 学技术和生产的迅速发展，许多实际的最优化问 题已经无法用古典方法来解决，这就促进了近代 最优化方法的产生。
近代最优化方法的形成和发展过程中最重要 的事件有：
1847年法国数学家Cauchy研究了函数值沿什么方向下 降最快的问题，提出最速下降法。
② 最优最计划优:现化代方国民法经的济具或部体门应经济用的举计划例，直
至企业的发展规划和年度生产计划，尤其是农业 规划、种植计划、能源规划和其他资源、环境和 生态规划的制订,都已开始应用最优化方法。一个 重要的发展趋势是帮助领导部门进行各种优化决策。
③最优管理：一般在日常生产计划的制订、调度和 运行中都可应用最优化方法。随着管理信息系统 和决策支持系统的建立和使用，使最优管理得到 迅速的发展。
最优化的发展简史
但是最优化方法真正形成为科学方法则在17世 纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所创 建的微积分中，提出求解具有多个自变量的实值 函数的最大值和最小值的方法，后来又出现 Lagrange乘数法。以后又进一步讨论具有未知 函数的函数极值，从而形成变分法。这一时期的 最优化方法可以称为古典最优化方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f `(x*;d) = lim [ f(x*+ d )-f(x*) ] /
• 若 f(x) 在 x* 可导，则 f `(x*;d) = [f (x*) ]Td .
方向导数,等高线,梯度的关系
二元函数的等高线 (复习水平集) 方向导数与梯度的公式 图形说明 推广到n元函数.
2.2 凸集、凸函数和凸规划(续)
二、凸函数 2、凸函数的性质：
1) 方向导数：设 S Rn 为非空凸集，函数 f :SR ， 再设 x* S, d 为单位方向向量，使当 > 0 充分小 时有 x*+d S, 如果 lim [ f(x*+ d )-f(x*) ] / 存在（包括 ）
则称 f(x) 为在点沿方向的方向导数存在，记
数？ 2) f(x)= max{ f1(x) , f2 (x) } , g(x)= min{ f1(x) ,
f2 (x) }是否凸函数？
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集：
定义：设集合 S Rn ，函数 f :SR， R ，
称 S = { x S∣f(x) ≤ } 为 f(x) 在 S 上 的 水平集。
严格凸函数
凸函数
严格凹函数
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集：
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
思考：设f1, f2是凸函数，
1) 设1, 2 > 0, 1f1+2f2 , 1f1 - 2f2是否凸函
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集 定义: 设集合 S Rn 为凸集，函数 f :SR
若 x(1), x(2) S, ( 0 , 1 ) ，均有 f( x(1)＋(1- ) x(2) ) ≤f(x(1))+(1- )f(x(2)) ，
则称 f(x) 为凸集 S 上的凸函数。 若进一步有上面不等式以严格不等式成立，则 称 f(x) 为凸集 S 上的严格凸函数。 当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为 凹函数（严格凹函数）。
二、凸函数 2、凸函数的性质：
以下设 S Rn 为非空凸集，函数 f :SR 2）若f 凸，则 f 在 S 的内点集上连续；
注： f 在 S 上不一定连续。 例: f(x)＝2(当x=1)； f(x)＝x2 (当x<1) .
3）设f 凸，则对任意方向方向导数存在。 4）设 S 是开集，f 在 S 上可微，则
f凸 x*S，有f (x) ≥ f (x*)+ f T(x*)(x-x*) , x S . 对于二元函数,即:曲线在切线的上方
5) 设 S 是开集，f 在 S 上二次可微，则
a) f 凸 xS，2f (x) 半正定；
b) 若 xS，2f (x) 正定，则f严格凸。
正定矩阵和负定矩阵的判定
定理: (1)对称矩阵A的各阶顺序主子式都大于零,
f(x) 为凸集 S 上的凸函数。x*为问题（fs）的 l.opt，则x*为g.opt；又如果f是严格凸函数 ，那么x*是（fs）的唯一g.opt。
2.3 多面体、极点、极方向
1）多面体：有限个半闭空间的交
例：S = { xRnAx = b , x≥0 }
2.3 多面体、极点、极方向
2) 多面体的极点（顶点）： xS，不存在 S 中的另外两个点x(1)和
x(2)，及 λ(0,1)，使 x = λx(1)+(1-λ)x(2). 3) 方向：xS , dRn , d 0 及 λ > 0 , 总有
x + λd S. d(1) = λd(2) ( λ>0) 时，称 d(1)和d(2)同方向。 4) 极方向：方向 d 不能表示为两个不同 方向的组合 ( d = d(1)+d(2) ) .
则A为正定矩阵. (2)对称矩阵A的偶数阶顺序主子式都大于
零,奇数阶顺序主子式都小于零,则A为负 定矩阵.
多元函数极值点的判定
定理:设函数f(X)二阶可微,X*是一个极值点,则:
f (X*)＝ORn , X*称为驻点.
多元函数求极值的步骤: (1)求出函数的驻点.(以上定理) (2)判断是否为极值点.(泰勒公式) (3)是否为最值点.(凸集与凸函数的相关定理)
定理：设集合 S Rn 是凸集，函数 f :SR是
凸函数，则对 R ，S 是凸集。
注：
1) 水平集的概念相当于在地形图中，海拔高度不高于某一 数值的区域。
2) 上述定理的逆不真。
考虑分段函数f(x)=1(x≥0)或0(x&函数和凸规划(续)
注:Hesse矩阵的作用
(1)函数是否为凸函数; (2)函数在某点是否取到极值点.
2.2 凸集、凸函数和凸规划(续)
三、凸规划：
当（f S）中，S为凸集，f是S上的凸函数 （求min），称（f S）为凸规划；
对于（fgh）, f,gi为凸函数，hj为线性函数 时，（fgh）为凸规划。
定理：设集合 S Rn 为凸集，函数 f :SR
• 若 f(x) 在 x* 可导，则 f `(x*;d) = [f (x*) ]Td .
方向导数,等高线,梯度的关系
二元函数的等高线 (复习水平集) 方向导数与梯度的公式 图形说明 推广到n元函数.
2.2 凸集、凸函数和凸规划(续)
二、凸函数 2、凸函数的性质：
1) 方向导数：设 S Rn 为非空凸集，函数 f :SR ， 再设 x* S, d 为单位方向向量，使当 > 0 充分小 时有 x*+d S, 如果 lim [ f(x*+ d )-f(x*) ] / 存在（包括 ）
则称 f(x) 为在点沿方向的方向导数存在，记
数？ 2) f(x)= max{ f1(x) , f2 (x) } , g(x)= min{ f1(x) ,
f2 (x) }是否凸函数？
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集：
定义：设集合 S Rn ，函数 f :SR， R ，
称 S = { x S∣f(x) ≤ } 为 f(x) 在 S 上 的 水平集。
严格凸函数
凸函数
严格凹函数
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集：
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
思考：设f1, f2是凸函数，
1) 设1, 2 > 0, 1f1+2f2 , 1f1 - 2f2是否凸函
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集 定义: 设集合 S Rn 为凸集，函数 f :SR
若 x(1), x(2) S, ( 0 , 1 ) ，均有 f( x(1)＋(1- ) x(2) ) ≤f(x(1))+(1- )f(x(2)) ，
则称 f(x) 为凸集 S 上的凸函数。 若进一步有上面不等式以严格不等式成立，则 称 f(x) 为凸集 S 上的严格凸函数。 当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为 凹函数（严格凹函数）。
二、凸函数 2、凸函数的性质：
以下设 S Rn 为非空凸集，函数 f :SR 2）若f 凸，则 f 在 S 的内点集上连续；
注： f 在 S 上不一定连续。 例: f(x)＝2(当x=1)； f(x)＝x2 (当x<1) .
3）设f 凸，则对任意方向方向导数存在。 4）设 S 是开集，f 在 S 上可微，则
f凸 x*S，有f (x) ≥ f (x*)+ f T(x*)(x-x*) , x S . 对于二元函数,即:曲线在切线的上方
5) 设 S 是开集，f 在 S 上二次可微，则
a) f 凸 xS，2f (x) 半正定；
b) 若 xS，2f (x) 正定，则f严格凸。
正定矩阵和负定矩阵的判定
定理: (1)对称矩阵A的各阶顺序主子式都大于零,
f(x) 为凸集 S 上的凸函数。x*为问题（fs）的 l.opt，则x*为g.opt；又如果f是严格凸函数 ，那么x*是（fs）的唯一g.opt。
2.3 多面体、极点、极方向
1）多面体：有限个半闭空间的交
例：S = { xRnAx = b , x≥0 }
2.3 多面体、极点、极方向
2) 多面体的极点（顶点）： xS，不存在 S 中的另外两个点x(1)和
x(2)，及 λ(0,1)，使 x = λx(1)+(1-λ)x(2). 3) 方向：xS , dRn , d 0 及 λ > 0 , 总有
x + λd S. d(1) = λd(2) ( λ>0) 时，称 d(1)和d(2)同方向。 4) 极方向：方向 d 不能表示为两个不同 方向的组合 ( d = d(1)+d(2) ) .
则A为正定矩阵. (2)对称矩阵A的偶数阶顺序主子式都大于
零,奇数阶顺序主子式都小于零,则A为负 定矩阵.
多元函数极值点的判定
定理:设函数f(X)二阶可微,X*是一个极值点,则:
f (X*)＝ORn , X*称为驻点.
多元函数求极值的步骤: (1)求出函数的驻点.(以上定理) (2)判断是否为极值点.(泰勒公式) (3)是否为最值点.(凸集与凸函数的相关定理)
定理：设集合 S Rn 是凸集，函数 f :SR是
凸函数，则对 R ，S 是凸集。
注：
1) 水平集的概念相当于在地形图中，海拔高度不高于某一 数值的区域。
2) 上述定理的逆不真。
考虑分段函数f(x)=1(x≥0)或0(x&函数和凸规划(续)
注:Hesse矩阵的作用
(1)函数是否为凸函数; (2)函数在某点是否取到极值点.
2.2 凸集、凸函数和凸规划(续)
三、凸规划：
当（f S）中，S为凸集，f是S上的凸函数 （求min），称（f S）为凸规划；
对于（fgh）, f,gi为凸函数，hj为线性函数 时，（fgh）为凸规划。
定理：设集合 S Rn 为凸集，函数 f :SR