凸优化——无约束问题的梯度方法
无约束优化方法
无约束优化方法1. 最速下降法（Gradient Descent Method）最速下降法是一种基于梯度信息的迭代优化算法。
其基本思想是从任意初始点开始，沿着目标函数的梯度方向进行迭代，直到达到收敛条件。
最速下降法的迭代更新公式如下：x_{k+1}=x_k-t_k*∇f(x_k)其中，x_k是第k次迭代的解向量，t_k是第k次迭代的步长（也称为学习率），∇f(x_k)是目标函数在x_k处的梯度向量。
最速下降法的步骤如下：1）选取初始点x_0。
2）计算目标函数的梯度∇f(x_k)。
3）计算步长t_k。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
最速下降法的优点是易于实现和理解，收敛性较好。
然而，最速下降法存在的问题是收敛速度较慢，特别是对于目标函数呈现狭长或弯曲形状的情况下。
这导致了在高维优化问题中，最速下降法的性能较差。
2. 牛顿法（Newton's Method）牛顿法是一种基于二阶导数信息的迭代优化算法。
它使用目标函数的一阶和二阶导数信息构造一个二次近似模型，然后求解该模型的最小值。
牛顿法的迭代更新公式如下：x_{k+1}=x_k-H_k^{-1}*∇f(x_k)其中，H_k是目标函数在x_k处的海森矩阵，∇f(x_k)是目标函数在x_k处的梯度向量。
牛顿法的步骤如下：1）选取初始点x_0。
2)计算目标函数的梯度∇f(x_k)和海森矩阵H_k。
3）计算更新方向H_k^{-1}*∇f(x_k)。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
牛顿法的优点是收敛速度快，尤其是在目标函数曲率大的地方。
然而，牛顿法也存在一些问题。
首先，计算海森矩阵需要大量的计算资源，特别是在高维空间中。
其次，当海森矩阵不可逆或近似不可逆时，牛顿法可能会失效。
综上所述，最速下降法和牛顿法是两种常用的无约束优化方法。
最速下降法简单易实现，但收敛速度较慢；牛顿法收敛速度快，但计算量大且可能遇到海森矩阵不可逆的问题。
无约束优化方法
无约束优化方法
**一、最速下降法**
最速下降法（Gradient Descent）是一种迭代优化方法，它是在梯度下降算法的基础上，通过更新梯度的方式来实现最优化目标的过程。
它的思想是：从一个初始点出发，沿着梯度方向，使得目标函数值在末尾尽可能的小。
它可以用来优化非线性的最优化问题，此外，它还可以用于估计函数的最小值。
最速下降法中的基本概念是梯度和梯度下降。
梯度描述了梯度函数的变化情况，它可以衡量函数值在特定点的变化程度。
如果梯度更大，则说明函数值发生的变化更大。
梯度下降是按照梯度的反方向进行函数的，它的目标是出函数值较小的点，也就是最优解。
最速下降法的两个基本步骤是：
1）当前点求梯度之后，按梯度负方向，沿着函数曲面降低。
2）每次迭代，都是沿着相反于梯度的方向，更新当前点，并继续。
最速下降法的优势在于：它比较简单，实现方便，只需要计算梯度，就可以出最优解；且它不需要考虑约束条件，也不需要研究局部最优点，所以它的速度比较快。
但最速下降法也有一些缺点：它有可能陷入局部最优；它缺乏判断能力，只能当前梯度的方向。
第三章 无约束最优化--梯度方法(1)
2 做直线搜索 zk 1 LS( zk , - gk ), 计算f k 1 f ( zk 1 ), gk 1 g ( zk 1 ); 3 判定终止准则H是否满足，若满足则打印最优解 z k+1 , f k+1， 终止。否则转2。 将最速下降法用于具有对称正定矩阵Q的二次函数： 1 T f ( z ) z Qz bT z c，可以推出步长公式来 : 2 设第 k 次迭代点为zk 。下面求zk 1的表达式:
f z k f z k 1 f z k f z k f zk
但λ到底取多大，没有统一的标准， λ取小了，收敛太慢，而λ取大 了，又会漏掉极小点。
1 T f ( z ) z Qz , 定理：对于二次函数 2
四 用于二次函数时的收敛速度
为了清除最优步长最速下降法中两个搜索方向正交的不良 后果，人们发明了不少方法，如： （1）选择不同初始点。
例如：对问题： min
取初点
为求 z1 ，沿 f z0 方向从 z0 出发求 f z 的极点，即在线 搜索 min f ( z0 tf z0 )
f ( z) x 25x T z0 2,2 f z0 104 , f z0 4,100T
2 T
* T z ( 0 , 0 ) z 然后再从 1开始迭代，经过10次迭代，近似得最优解
f ( z1 ) 3.686164 .
计算中可以发现，开始几次迭代，步长比较大，函数值下将降 较快但当接近最优点时，步长很小，目标函数值下降很慢。如 T ,0)T虽然后一初点较前一 果不取初点为 z0 (2,2) 而取 z0 (100 初点离最优点 z * (0,0)T 远，但迭代中不出现锯齿现象。这时：
凸优化 梯度方法
凸优化梯度方法嘿，咱今儿来聊聊凸优化和梯度方法。
这俩家伙呀，就像是一对好搭档，在数学和算法的世界里可有着大作用呢！你想想看，凸优化就像是给我们指引了一条最平坦、最直接的路。
它让那些复杂的问题变得有章可循，有法可解。
就好比我们在迷雾中找到了那一束最亮的光，顺着它就能找到正确的方向。
而梯度方法呢，那就是我们前进的脚步呀！它就像是一个聪明的向导，带着我们一步一步地朝着目标前进。
它能告诉我们该往哪里走，怎么走才能最快到达目的地。
比如说吧，我们要去山顶看美丽的风景。
凸优化就帮我们找到了那条最容易爬上去的路，而梯度方法呢，就是我们的脚步，一步一步稳稳地往上走。
如果没有凸优化，我们可能会在山脚下瞎转悠，不知道该往哪里走；要是没有梯度方法，那我们就算知道了路，也没办法真正地走上去呀。
你再想想，在生活中我们不也经常遇到类似的情况吗？我们想要达成一个目标，凸优化就像是我们对目标的清晰认识和规划，知道该往哪个方向努力。
而梯度方法呢，就是我们实际行动中的每一个小步骤，每一次的努力和尝试。
有时候我们可能会遇到一些困难，就像爬山时遇到了陡峭的山坡。
但这时候梯度方法就会告诉我们，要慢慢地、稳稳地走，不要着急，一步一步总能走上去。
这多像我们在生活中遇到挫折时呀，不能一下子就放弃，得慢慢来，一点点地克服。
而且呀，凸优化和梯度方法的结合，那可是威力无穷呢！它们能帮我们解决各种各样的难题，让那些看似不可能的事情变得有可能。
这就像是我们有了一把神奇的钥匙，能打开各种紧闭的大门。
你说神奇不神奇？这就是数学的魅力呀！它能让我们的生活变得更加有序，更加高效。
所以呀，可别小看了这凸优化和梯度方法哦，它们可是有着大本事的呢！咱再想想，要是没有它们，那我们在面对那些复杂的问题时该咋办呢？肯定会手忙脚乱，不知所措吧。
但有了它们，我们就像是有了底气，有了信心，知道只要按照方法来，就一定能找到答案。
总之呢，凸优化和梯度方法就是我们在数学世界里的好伙伴，它们能帮我们披荆斩棘，走向成功。
梯度法求解无约束优化问题
梯度法求解无约束优化问题梯度法是一种常用的无约束优化算法，用于求解目标函数的最小值。
该方法基于目标函数在当前点的梯度方向进行迭代，直到达到最小值或满足停止条件。
下面将从算法原理、步骤、优缺点等方面介绍梯度法求解无约束优化问题。
一、算法原理梯度法是一种基于一阶导数信息的优化算法，其基本思想是在当前点沿着目标函数的梯度方向进行迭代，以期望能够找到函数的最小值。
在梯度法中，每次迭代的步长和方向都是由目标函数在当前点的梯度方向决定的。
二、步骤1. 初始化：选择一个初始点$x_0$，设置迭代次数$k=0$。
2. 计算梯度：计算目标函数在当前点$x_k$的梯度$\nabla f(x_k)$。
3. 更新变量：根据梯度方向和步长更新变量$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$，其中$\alpha_k$是步长，可以通过线性搜索或其他方法确定。
4. 判断停止条件：如果满足停止条件，算法结束；否则，令$k=k+1$，返回步骤2。
三、优缺点1. 优点：梯度法是一种简单、易于实现的优化算法，适用于大部分的连续可导函数。
2. 缺点：梯度法存在局部最优解的问题，容易陷入局部最优解而无法找到全局最优解。
此外，如果步长选择不当，可能会导致算法收敛速度慢或不收敛。
四、应用梯度法广泛应用于机器学习、深度学习、信号处理、图像处理等领域。
例如，在机器学习中，梯度法常用于求解线性回归、逻辑回归、神经网络等模型的参数。
总之，梯度法是一种常用的无约束优化算法，其基本思想是在当前点沿着目标函数的梯度方向进行迭代，以期望能够找到函数的最小值。
该算法简单易用，但存在局部最优解和步长选择不当等问题，需要根据具体问题进行调整和优化。
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
凸优化之无约束优化（一维搜索方法：二分法、牛顿法、割线法）
凸优化之⽆约束优化（⼀维搜索⽅法：⼆分法、⽜顿法、割线法）1、⼆分法（⼀阶导）⼆分法是利⽤⽬标函数的⼀阶导数来连续压缩区间的⽅法，因此这⾥除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。
（1）确定初始区间的中点 x(0)=(a0+b0)/2 。
然后计算 f(x) 在 x(0) 处的⼀阶导数 f'(x(0))，如果 f'(x(0)) >0 , 说明极⼩点位于 x(0)的左侧，也就是所，极⼩点所在的区间压缩为[a0,x(0)]；反之，如果 f'(x(0)) <0，说明极⼩点位于x(0)的右侧，极⼩点所在的区间压缩为[x(0)，b0]；如果f'(x(0)) = 0，说明就是函数 f(x) 的极⼩点。
（2）根据新的区间构造x(1)，以此来推，直到f'(x(k)) = 0，停⽌。
可见经过N步迭代之后，整个区间的总压缩⽐为（1/2）N，这⽐黄⾦分割法和斐波那契数列法的总压缩⽐要⼩。
1 #ifndef _BINARYSECTION_H_2#define _BINARYSECTION_H_34 typedef float (* PtrOneVarFunc)(float x);5void BinarySectionMethod(float a, float b, PtrOneVarFunc fi, float epsilon);67#endif1 #include<iostream>2 #include<cmath>3 #include "BinarySection.h"45using namespace std;67void BinarySectionMethod(float a, float b, PtrOneVarFunc tangent, float epsilon)8 {9float a0,b0,middle;10int k;11 k = 1;12 a0 = a;13 b0 = b;14 middle = ( a0 + b0 )/2;1516while( abs(tangent(middle)) - epsilon > 0 )17 {18 #ifdef _DEBUG19 cout<<k++<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;20#endif2122if( tangent(middle) > 0)23 {24 b0 = middle;25 }26else27 {28 a0 = middle;29 }30 middle =( a0+b0)/2;31 }3233 cout<<k<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;34 }1 #include<iostream>2 #include "BinarySection.h"345float TangentFunctionofOneVariable(float x)6 {7return14*x-5;//7*x*x-5*x+2;8 }910int main()11 {12 BinarySectionMethod(-50, 50, TangentFunctionofOneVariable, 0.001);13return0;14 }1th iteration:x=0,f'(0)=-52th iteration:x=25,f'(25)=3453th iteration:x=12.5,f'(12.5)=1704th iteration:x=6.25,f'(6.25)=82.55th iteration:x=3.125,f'(3.125)=38.756th iteration:x=1.5625,f'(1.5625)=16.8757th iteration:x=0.78125,f'(0.78125)=5.93758th iteration:x=0.390625,f'(0.390625)=0.468759th iteration:x=0.195312,f'(0.195312)=-2.2656210th iteration:x=0.292969,f'(0.292969)=-0.89843811th iteration:x=0.341797,f'(0.341797)=-0.21484412th iteration:x=0.366211,f'(0.366211)=0.12695313th iteration:x=0.354004,f'(0.354004)=-0.043945314th iteration:x=0.360107,f'(0.360107)=0.041503915th iteration:x=0.357056,f'(0.357056)=-0.001220716th iteration:x=0.358582,f'(0.358582)=0.020141617th iteration:x=0.357819,f'(0.357819)=0.0094604518th iteration:x=0.357437,f'(0.357437)=0.0041198719th iteration:x=0.357246,f'(0.357246)=0.0014495820th iteration:x=0.357151,f'(0.357151)=0.0001144412、⽜顿法（⼆阶导）前提：f 在 [a0,b0] 为单峰函数，且[a0,b0] 在极⼩点附近，不能离的太远否则可能⽆法收敛。
凸优化之无约束优化（最小二乘求解过定线性方程组；kaczmarz算法求解未定线性方程组）
凸优化之⽆约束优化（最⼩⼆乘求解过定线性⽅程组；kaczmarz算法求解未定线性⽅程组）1.最⼩⼆乘分析：线性⽅程组：Ax=b，其中，A∈R m×n,m≥n, rank(A)=n,rank(A|b)≠n(即b不属于矩阵A的值域空间b∉R(A)），⽅程组⽆解。
此时求解⽅程组就变成了寻找⼀个向量x，使得║Ax-b║2达到最⼩。
最⼩⼆乘解：如果x*能够使得║Ax-b║2达到最⼩，则称x*为⽅程组的最⼩⼆乘解。
当rank(A)=rank(A|b)=n时，⽅程组有唯⼀解，即为最⼩⼆乘解；当⽆解时，只能有最⼩⼆乘解；当有⽆穷多解时，最⼩⼆乘解有多个。
定理：矩阵A∈R m×n,m≥n，当且仅当rank（A T A）=n时，rank（A）=n；定理：对于Ax=b，当A∈R m×n,m≥n, rank(A)=n时，有唯⼀最⼩⼆乘解x*=（A T A）-1A T b；---（A T A称为格拉姆矩阵）计算机求解⽅法：（1）使⽤多维优化求解极值，如L-M Newton、ConjugateGrdient，QuasiNewton⽅法。
ƒ(x)=║Ax-b║2=(Ax-b)T(Ax-b)=1/2*x T(2A T A)x-x T(2A T b)+b T b（2）递推最⼩⼆乘法：利⽤当前⽅程组得到最⼩⼆乘解，去更新新增⽅程后整个⽅程组的最⼩⼆乘解。
若 x(0)=G0-1A0T b(0),其中，G0=A0T A0,使得║Ax-b║2最⼩，那么新增⽅程组A1x=b(1)（⽤A1和向量b(1)表⽰）后，那么整个问题就成为求解下⾯⽅程组最⼩⼆乘解：其解为：，其中。
做⼀些变换：；，其中因此：，其中其中b(k+1)-A k+1x(k)称为新息，如果新息为零，那么更新得到的x(k+1)就是以前的x(k)；上⾯的迭代公式中包含逆矩阵G k+1-1，下⾯给出其更新公式。
记G k-1为P k，当A k+1只有⼀⾏A k+1=a k+1T时,b(k+1)=b k+1：2.线性⽅程组最⼩范数解：线性⽅程组：Ax=b，其中，A∈R m×n,m≤n, rank(A)=m，⽅程数量不超过未知数数量，因此⽅程组可能存在⽆数个解，但只有⼀个最接近原点的解：minimize ║x║subject to Ax=b定理：Ax=b的解中范数最⼩的解x*是唯⼀的，x*=A T(AA T)-1b.计算机求解⽅法：（1）kaczmarz算法:令a j T表⽰矩阵A的第j⾏，b j表⽰向量b的第j个元素，µ为正实数，满⾜0<µ<2.当时x(0)≠0，算法收敛到集合{x：Ax=b}中唯⼀能够使得距离║x-x(0)║最⼩的点。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三周读书笔记
1. 牛顿法
Pure Newton's Method
在上一章中具体讨论了梯度方法，该类方法只应用了一阶最优条件的信息，即梯度。
此外，在讨论标度梯度法时还简单地讨论到Newton方法，该类方法进一步地应用到二阶最优条件地信息，即Hessian矩阵。
该章重点介绍牛顿法，与梯度方法利用梯度进行新点迭代的方法不同，牛顿法的点更新方法如下：若假设函数在处的Hessian矩阵是正定矩阵，即。
那上面的最小化问题有唯一的稳定点，也是全局最小点：
其中，向量也被称作牛顿方向，利用以上更新公式进行迭代的方法也被称作纯粹牛顿方法。
算法流程图如下：
牛顿法要求在每次更新处的Hessian矩阵为正定矩阵。
或者我们可以放宽一点条件——即在定义域内的任意点处的Hessian矩阵均为正定，这说明了存在一个唯一的最优解。
但是，这并不能保证算法的收敛性。
事实上，牛顿法在某些假设下具备很好的收敛性能（称局部二次收敛）——令在上二阶连续可导，假设：
存在，对任意有
存在，对任意，有
令是牛顿方法得到的序列，是在上唯一最小值。
那么对任意，以下不等式成立：
此外，如果，那么
证明如下：
事实上，对于某些不满足上述条件（正定、李普希兹连续）的优化问题，牛顿方法也能表现出收敛性。
但是，总的来说，当缺少这些严格假设时收敛性无法得到保障。
为了解决即使在Hessian矩阵正定也无法保障牛顿法的收敛性问题下，进一步地提出一种步长解决方案，即阻尼牛顿法。
阻尼牛顿法
在纯粹牛顿法的基础上，我们在进行迭代更新时，重新加入步长选择机制，如利用回溯法进行步长选择的阻尼牛顿法，算法流程如下：
cholesky分解
这一小节是针对前部分的补充知识——在利用牛顿法解决相关优化问题的时候，我们会遇到判断Hessian矩阵是否正定，以及求解线性系统的问题，这两个问题都可以通过cholesky分解来解决。
给定一个的正定矩阵，cholesky分解的形式为，其中是一个的下三角矩阵且其对角元素为正数。
一般利用cholesky分解去解决线性系统分为以下两步：
1. 找到的解
2. 找到的解
可以通过一个简单的递推公式计算cholesky因子。
如下：
在求解L的过程中，需要保证L的对角线元素为正数。
此前我们讨论的牛顿方法都是建立在Hessian矩阵正定的基础上，因此，可以改进牛顿方法——将其与梯度方法结合，判断Hessian矩阵是不是正定的。
若是正定则利用牛顿法迭代，若不是正定则利用梯度方法。
2.凸集
凸分析和凸优化的基础需要我们对基础的凸集理论知识有一定的认识，本章即介绍相关的知识点。
定义和例子
首先，定义凸集——如果集合C中任意两点之间的线段仍在C中，即对于任意和满足，有。
通俗的讲，即集合中的每一点都可以被其他点沿着它们之间的一条无阻碍的路径达到（所谓无阻碍，即整条路径都在集合中）。
例：（直线为凸集）
事实上，如果从直观的角度来看的话，直线中任意两点连成的线段一定在该直线上，因此，直线一定是一个凸集。
当然，也可以从定义的角度进行证明，首先，定义在上的直线可以用集合
来表示，接着证明其凸性。
任取两点，则两点依次对应使得。
对任意，有。
得证。
同样的，常见的凸集还有闭线段、开线段、空集、全空间、超平面以及半空间。
以下再给出两个典型的凸集
例：（范数球为凸集）
令且，为定义在上的范数。
则open ball为
closed ball为
以上均为凸集。
（利用凸集的定义、范数的齐次性以及三角不等式可证）例：（椭球为凸集）
首先，椭球的定义——椭球是具备以下形式的集合，
其中，为一个半正定矩阵，。
以下证明其为凸集。
凸集的代数运算
首先介绍交集这种保凸运算。
引理：令有限个集合均为凸集，那么他们的交集也是凸集。
由该引理可以得到一个主要的凸集——多面体。
上一节中，我们提到一个重要的凸集——半空间，有限个半空间的交集即为多面体，可用如下公式表示。
所以多面体是一个凸集。
当然，凸集不仅对交运算封闭，对加法、笛卡尔积、线性映射和逆线性映射也是封闭的。
凸包
首先，引入凸组合的概念——对于k个向量，凸组合可以表示为
，其中且和为1。
因此，之前提到凸集的定义可以重新定义为包含集合中任意两点凸组合的集合即为凸集。
该定义可以进一步引申为集合中任意数量的点。
定理如下：
令为一个凸集，其中有个点。
那么，对于任意和为1的，有。
（可用数学归纳法证明）
凸包的定义：集合S的凸包即为S中所有点的凸组合的集合，记为。
（其中，所有点的概念是指任意正数数量的点）。
凸包是包含集合S的最小凸集。
接下来是é。
可以解释为，某给定集合的子集的凸包中的任意元素可以用中不超过个矩阵的凸组合表示出来。
定理：令，并令。
那么存在，有
，即。
凸锥
集合，当它满足以下性质：对于任意，。
引理：当且仅当以下性质满足时，S是凸锥。
A:
B:
常见的凸锥有诸如非负象限、冰淇淋锥、非负多项式。
与凸集有凸组合一样，凸锥也有锥组合。
以下给出定义：
给定空间中的个点，这个点的锥组合可以表示为，其中为非负数。
进一步地，可以给出锥包的概念。
令，则由中所有点的锥组合的集合，通常记作。
有以下表达式：
锥包是包含的最小凸锥。
接下来是conic representation theorem。
令且，那么存在个线性无关的向量，有，即存在，使得。
基础可行解：令，其中。
假设的各行线性无关，其可行解中的正元素对应的A中的列线性无关。
可行解的相关定理：令，其中。
如果P有解，那么至少包含一个基础可行解。
凸集的拓扑性质
1. 闭合条件下的保凸性：若是一个凸集，那么它的闭包也是一个凸集。
（闭包是包含C
的最小闭集）
2. （line segment principle）令为一个凸集，假设的内部不为空集，且。
那么对于任意的，。
3. 若为一个凸集，那么它的内部也是一个凸集。
4. 令为一个凸集并且内部非空，那么。
5. 若为一个紧集，那么它的凸包为紧集。
6. 令，那么这些点的锥包是闭集。