6.梯度下降和拟牛顿
机器学习中常见的几种优化方法
机器学习中常见的几种优化方法阅读目录1. 梯度下降法（Gradient Descent）2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）3. 共轭梯度法（Conjugate Gradient）4. 启发式优化方法5. 解决约束优化问题——拉格朗日乘数法我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。
最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。
随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。
常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度法等等。
回到顶部1. 梯度下降法（Gradient Descent）梯度下降法是最早最简单，也是最为常用的最优化方法。
梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。
一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。
梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。
最速下降法越接近目标值，步长越小，前进越慢。
梯度下降法的搜索迭代示意图如下图所示：牛顿法的缺点：（1）靠近极小值时收敛速度减慢，如下图所示；（2）直线搜索时可能会产生一些问题；（3）可能会“之字形”地下降。
从上图可以看出，梯度下降法在接近最优解的区域收敛速度明显变慢，利用梯度下降法求解需要很多次的迭代。
在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
常见的优化算法
常见的优化算法摘要：一、引言二、常见优化算法概述1.梯度下降2.随机梯度下降3.小批量梯度下降4.牛顿法5.拟牛顿法6.共轭梯度法7.信赖域反射算法8.岭回归与LASSO三、优化算法的应用场景四、总结正文：一、引言在机器学习和数据挖掘领域，优化算法是解决最优化问题的常用方法。
本文将对一些常见的优化算法进行概述和分析，以便读者了解和选择合适的优化算法。
二、常见优化算法概述1.梯度下降梯度下降是最基本的优化算法，通过计算目标函数的梯度，并乘以一个正数加到梯度相反号上，不断更新参数。
2.随机梯度下降随机梯度下降是梯度下降的一个变种，每次更新时随机选择一部分样本计算梯度，减少了计算复杂度。
3.小批量梯度下降小批量梯度下降是随机梯度下降的改进，每次更新时选择一小部分样本计算梯度，平衡了计算复杂度和收敛速度。
4.牛顿法牛顿法是一种二阶优化算法，通过计算目标函数的二阶导数（Hessian 矩阵）来更新参数，具有更快的收敛速度。
5.拟牛顿法拟牛顿法是牛顿法的近似方法，通过正则化Hessian 矩阵来避免牛顿法的计算复杂度问题。
6.共轭梯度法共轭梯度法是一种高效的优化算法，通过计算目标函数在参数空间中的共轭梯度来更新参数，具有较好的数值稳定性和收敛速度。
7.信赖域反射算法信赖域反射算法是一种基于信赖域的优化算法，通过不断缩小区间来更新参数，具有较好的收敛速度和鲁棒性。
8.岭回归与LASSO岭回归和LASSO 是一种正则化方法，通过加入正则项来优化目标函数，具有较好的过拟合抑制效果。
三、优化算法的应用场景不同的优化算法具有不同的特点和适用场景，如梯度下降适用于简单的问题，牛顿法和拟牛顿法适用于非凸问题，共轭梯度法适用于高维问题等。
在实际应用中，需要根据问题的特点选择合适的优化算法。
四、总结本文对常见的优化算法进行了概述和分析，包括梯度下降、随机梯度下降、小批量梯度下降、牛顿法、拟牛顿法、共轭梯度法、信赖域反射算法、岭回归和LASSO 等。
参数更新公式
参数更新公式参数更新公式通常用于机器学习和深度学习中，用于根据学习率和当前参数来更新模型参数。
下面是一些常见的参数更新公式：1. 梯度下降（Gradient Descent）：$\theta = \theta - \alpha \nabla J(\theta)$其中，$\theta$ 是模型参数，$\alpha$ 是学习率，$J(\theta)$ 是损失函数。
2. 随机梯度下降（Stochastic Gradient Descent）：$\theta = \theta - \alpha \nabla J(\theta^{(i)})$其中，$\theta^{(i)}$ 是第 $i$ 个样本的梯度。
3. 牛顿法（Newton's Method）：$\theta = \theta - \alpha H(\theta)^{-1} \nabla J(\theta)$其中，$H(\theta)$ 是海森矩阵（Hessian Matrix）。
4. 共轭梯度法（Conjugate Gradient Method）：$\theta = \theta - \alpha p$其中，$p$ 是共轭方向。
5. 拟牛顿法（Quasi-Newton Method）：$\theta = \theta - B(\theta)^{-1} \nabla J(\theta)$其中，$B(\theta)$ 是拟海森矩阵（Approximate Hessian Matrix）。
6. 坐标梯度下降（Coordinate Gradient Descent）：$\theta_j = \theta_j - \alpha \frac{\partial J(\theta)}{\partial \theta_j}$ 其中，$\theta_j$ 是第 $j$ 个参数。
7. 带动量的梯度下降（Momentum Gradient Descent）：$v = \beta v - \alpha \nabla J(\theta)$$\theta = \theta + v$其中，$v$ 是动量，$\beta$ 是动量系数。
最优化问题的算法迭代格式
最优化问题的算法迭代格式最优化问题的算法迭代格式最优化问题是指在一定的条件下，寻找使某个目标函数取得极值（最大值或最小值）的变量取值。
解决最优化问题的方法有很多种，其中较为常见的是迭代法。
本文将介绍几种常用的最优化问题迭代算法及其格式。
一、梯度下降法梯度下降法是一种基于负梯度方向进行搜索的迭代算法，它通过不断地沿着目标函数的负梯度方向进行搜索，逐步接近极值点。
该方法具有收敛速度快、易于实现等优点，在许多应用领域中被广泛使用。
1. 算法描述对于目标函数 $f(x)$，初始点 $x_0$ 和学习率 $\alpha$，梯度下降算法可以描述为以下步骤：- 计算当前点 $x_k$ 的梯度 $\nabla f(x_k)$；- 更新当前点 $x_k$ 为 $x_{k+1}=x_k-\alpha\nabla f(x_k)$；- 如果满足停止条件，则输出结果；否则返回第 1 步。
2. 算法特点- 沿着负梯度方向进行搜索，能够快速收敛；- 学习率的选择对算法效果有重要影响；- 可能会陷入局部极小值。
二、共轭梯度法共轭梯度法是一种基于线性方程组求解的迭代算法，它通过不断地搜索与当前搜索方向共轭的新搜索方向，并在该方向上进行一维搜索，逐步接近极值点。
该方法具有收敛速度快、内存占用少等优点，在大规模问题中被广泛使用。
1. 算法描述对于目标函数 $f(x)$，初始点 $x_0$ 和初始搜索方向 $d_0$，共轭梯度算法可以描述为以下步骤：- 计算当前点 $x_k$ 的梯度 $\nabla f(x_k)$；- 如果满足停止条件，则输出结果；否则进行下一步；- 计算当前搜索方向 $d_k$；- 在当前搜索方向上进行一维搜索，得到最优步长 $\alpha_k$；- 更新当前点为 $x_{k+1}=x_k+\alpha_k d_k$；- 计算新的搜索方向 $d_{k+1}$；- 返回第 2 步。
2. 算法特点- 搜索方向与前面所有搜索方向都正交，能够快速收敛；- 需要存储和计算大量中间变量，内存占用较大；- 可以用于非线性问题的求解。
数据科学中的最优化方法
数据科学中的最优化方法在数据科学领域，最优化方法是一种重要的数学工具，用于解决各种问题，如参数估计、模型选择、特征选择等。
最优化方法的目标是找到使得目标函数取得最大或最小值的变量取值。
本文将介绍几种常用的最优化方法，并探讨它们在数据科学中的应用。
一、梯度下降法梯度下降法是一种常用的优化算法，它通过迭代的方式逐步优化目标函数。
其基本思想是沿着目标函数的负梯度方向进行搜索，直到找到最优解。
梯度下降法有多种变体，如批量梯度下降法、随机梯度下降法和小批量梯度下降法等。
在数据科学中，梯度下降法广泛应用于模型参数的估计。
例如，在线性回归中，我们可以使用梯度下降法来估计回归系数，使得模型的预测误差最小化。
此外，梯度下降法还可以用于神经网络的训练、支持向量机的优化等。
二、牛顿法牛顿法是一种迭代的优化算法，它通过近似目标函数的二阶导数来更新变量的取值。
牛顿法的基本思想是通过二次近似来逼近目标函数，并求得使得二次近似函数取得最小值的变量取值。
牛顿法的收敛速度较快，但计算复杂度较高。
在数据科学中，牛顿法常用于解决非线性优化问题。
例如，在逻辑回归中，我们可以使用牛顿法来估计模型的参数，以最大化似然函数。
此外，牛顿法还可以用于求解无约束优化问题、非线性方程组的求解等。
三、拟牛顿法拟牛顿法是一种改进的牛顿法，它通过近似目标函数的梯度来更新变量的取值。
拟牛顿法的基本思想是通过一系列的迭代步骤来逼近目标函数，并求得最优解。
拟牛顿法的计算复杂度较低，收敛速度较快。
在数据科学中，拟牛顿法常用于解决大规模优化问题。
例如，在深度学习中，我们可以使用拟牛顿法来训练神经网络，以最小化损失函数。
此外，拟牛顿法还可以用于求解约束优化问题、非线性方程组的求解等。
四、遗传算法遗传算法是一种模拟自然进化过程的优化算法，它通过模拟生物进化的过程来求解最优解。
遗传算法的基本思想是通过选择、交叉和变异等操作来不断改进种群的适应度，并逐步逼近最优解。
遗传算法具有全局搜索能力，但计算复杂度较高。
梯度降低法和牛顿法
梯度降低法和牛顿法梯度下降法和牛顿法，这俩名字听起来挺复杂对吧？像是数学界的硬核战士，但其实它们的原理跟我们日常生活中的思维方式有点像。
比如说，你要去一个地方，目标很明确：就是到达终点。
但是，你不知道路上有哪些坑，也没地图，怎么办呢？你就得一边走，一边判断前方的情况，踩点儿去调整自己的方向。
嗯，听着是不是很像“一步一个脚印”？这就是梯度下降法的感觉，简单明了，实在是没什么花架子。
梯度下降法，顾名思义，就是根据当前的梯度（你可以理解成“坡度”），朝着最低点前进。
就好比你在山上迷路了，想下山，但你没有导航。
怎么办呢？你只需要看看脚下的地面坡度，走坡度最大的方向，这样总能朝着低处走去。
是吧？没错，就是这么简单。
哎，虽然这方法看起来好像很直接，但也有点懒得让人提心吊胆——因为有时你可能走错方向，跑偏了。
就像你走着走着，突然发现脚下的坡度变得平缓，哎呀，这不就可能是你误入了局部最低点吗？没走到最底，反而掉进了个小坑里。
反正这就像是你去爬山，如果不小心走到了“假山顶”，就很可能绕了一圈，依然没到达真正的山巅。
就这么“艰辛”的一个过程。
那牛顿法呢？哈哈，牛顿法可就不一样了。
它像一个聪明的老狐狸，不光看坡度，还能看整个地形。
你看，牛顿法是基于二阶导数的，也就是看一看当前的坡度变化是快还是慢。
简单说，牛顿法就像是你在走山路的时候，不仅知道脚下的坡有多陡，还能感知到路的曲率是变得更陡还是更平缓。
假设你走的路突然有点滑，这时候你不光得看坡，还得琢磨它是不是会突然拐弯。
你想，凭这眼光，哪能跟梯度下降法那个傻乎乎的“直接冲”相比？牛顿法就是通过这些细节的变化来决定下一步怎么走，准确率高，走得快。
它就像是你进入了一个熟悉的地形，知道哪里危险，哪里平坦，轻轻松松就走到终点。
不过，牛顿法也不是完美无瑕的。
它虽然看得清楚，但你想过没，牛顿法对初始点的依赖也可大了。
如果初始点不对，可能它的计算就会“走火入魔”，像是你走在一条看似顺畅的路上，突然发现原来是条死胡同。
五种最优化方法范文
五种最优化方法范文最优化是一个数学领域，在解决实际问题时，通过寻找最优解的方法，使得目标函数的值最小或最大化。
在最优化问题中，有许多不同的方法可以用来求解。
以下是五种常见的最优化方法。
1.梯度下降法梯度下降法是一种基于梯度信息的迭代算法，用于求解最小化目标函数的最优解。
其基本思想是从初始点开始，根据负梯度方向进行迭代求解，直到达到预定的停止条件或收敛到最优解。
梯度下降法的优点是简单易实现，适用于大规模问题。
缺点是容易陷入局部最优或鞍点，并且收敛速度可能较慢。
2.牛顿法牛顿法是一种基于二阶导数信息的迭代算法，用于求解非线性最优化问题。
其基本思想是通过二阶泰勒展开近似目标函数，以牛顿法的更新方程进行迭代求解。
与梯度下降法相比，牛顿法收敛速度更快。
但牛顿法的缺点是需要计算目标函数的二阶导数矩阵，计算代价较大，并且需要满足一定的收敛条件。
3.拟牛顿法拟牛顿法是一种通过拟合目标函数的局部特征来逼近牛顿法的方法。
常用的拟牛顿法有DFP（Davidon-Fletcher-Powell）方法和BFGS （Broyden-Fletcher-Goldfarb-Shanno）方法。
拟牛顿法利用目标函数的一阶导数信息来近似目标函数的二阶导数矩阵，从而避免了计算二阶导数的复杂性，且收敛速度比梯度下降法更快。
拟牛顿法的缺点是需要存储和更新一个Hessian矩阵的逆或近似逆。
4.线性规划线性规划是一种最优化问题的形式，其中目标函数和约束条件都是线性的。
线性规划问题可以通过线性规划算法求解，如单纯形法、内点法等。
线性规划问题具有良好的理论基础和高效的求解方法。
线性规划在工业、供应链管理、运输问题等方面有广泛的应用。
5.整数规划整数规划是一种最优化问题的形式，其中决策变量只能取整数值。
整数规划问题可以通过整数规划算法求解，如分支定界法、割平面法等。
整数规划在许多实际情况下具有重要的应用，例如在生产计划、线路设计、货物装载等问题中。
梯度下降法和牛顿法的异同
梯度下降法和牛顿法的异同
梯度下降法和牛顿法都属于最优化算法。
它们都被广泛用于优化算法中，尤其是机器学习中的优化问题。
这两种算法对求解问题的极小值有着重要的作用，它们都是基于损失函数的梯度确定update规则的迭代方式。
但是，梯度下降法和牛顿法有一定的不同：
首先，两种算法的更新规则是不同的。
梯度下降法用的是梯度下降的方法，即根据最新的梯度值，以当前位置为基准，沿着此方向寻找梯度最低点，即下降最小值点；而牛顿法则需要计算平均梯度以及拟合函数的矩阵，即当前位置的Hessian矩阵，然后根据它们来更新参数。
此外，由于梯度下降更新规则的简单性，梯度下降法更加容易理解和实现，而牛顿法由于需要计算Hessian矩阵对算法计算量有更大的要求，而且对初值设置和特征选择也有更高的要求；因此梯度下降法比牛顿法更容易实现和更新，而且也更容易训练，但是牛顿法可以收敛得更快，但是如果初值和特征选择不合理，会影响牛顿法的训练效果。
此外，两种算法的对策略也有所不同，梯度下降法的更新规则是每一次更新量小，每次迭代量也相对较小，迭代次数更多，而牛顿法每次更新量较大，迭代次数更少。
不同的策略使得它们收敛的特性也不一样，梯度下降法的收敛慢，而牛顿法的收敛速度快。
总的来说，梯度下降法和牛顿法都属于最优化算法，它们都用了梯度确定update规则，但是在更新规则，对待策略和精度上，两种方法有一定的不同。
非线性规划问题的数学算法设计与优化
非线性规划问题的数学算法设计与优化引言：非线性规划是数学优化领域中的一个重要分支，它研究的是在约束条件下寻找目标函数的最优解。
与线性规划相比，非线性规划问题更加复杂，因为它涉及到非线性函数的优化。
为了解决这类问题，数学家们提出了许多有效的算法，并不断进行改进和优化。
本文将介绍几种常见的非线性规划算法，并探讨它们的优化方法。
一、梯度下降法梯度下降法是一种常用的非线性规划算法，它通过迭代的方式逐步优化目标函数。
该算法的基本思想是沿着目标函数的负梯度方向进行搜索，直到找到最优解为止。
梯度下降法的优化过程可以分为两个步骤：计算目标函数的梯度和更新参数。
在计算梯度时，可以使用数值方法或者解析方法，具体选择取决于问题的复杂程度和计算效率的要求。
在更新参数时，可以采用固定步长或者自适应步长的方式，以控制搜索的速度和精度。
二、牛顿法牛顿法是一种经典的非线性规划算法，它利用目标函数的二阶导数信息进行搜索。
该算法的核心思想是通过构造二次逼近模型来近似目标函数，并求解该模型的最优解。
牛顿法的优化过程可以分为三个步骤：计算目标函数的一阶导数、二阶导数和更新参数。
在计算导数时，可以使用数值方法或者解析方法，具体选择取决于问题的复杂程度和计算效率的要求。
在更新参数时，可以采用精确求解或者近似求解的方式，以控制搜索的速度和精度。
三、拟牛顿法拟牛顿法是一种改进的非线性规划算法，它通过构造目标函数的拟牛顿方程来近似目标函数的二阶导数。
该算法的基本思想是利用历史搜索信息来更新参数，并通过迭代的方式逐步优化目标函数。
拟牛顿法的优化过程可以分为四个步骤：计算目标函数的一阶导数、构造拟牛顿方程、求解拟牛顿方程和更新参数。
在构造拟牛顿方程时，可以使用不同的方法，例如DFP方法、BFGS方法等，以逼近目标函数的二阶导数。
在求解拟牛顿方程时，可以采用精确求解或者近似求解的方式，以控制搜索的速度和精度。
四、全局优化方法除了上述的局部优化方法，全局优化方法也是解决非线性规划问题的一种重要途径。
优化算法计算阈值
优化算法计算阈值常用的优化算法包括：梯度下降法、牛顿法、拟牛顿法、遗传算法、模拟退火算法等。
1.梯度下降法（GradientDescent）是一种广泛应用的优化算法，它通过迭代过程中的梯度信息来寻找目标函数的最小值或最大值。
在计算阈值的优化中，可以将目标函数设置为分类准确率、F1值、AUC等评测指标，然后通过梯度下降法来寻找最佳的阈值。
具体步骤如下：初始化阈值取一个合适的初始值；计算目标函数关于阈值的梯度；根据梯度更新阈值；重复上述步骤直至满足收敛条件。
2.牛顿法（Newton'sMethod）是一种利用目标函数的二阶导数信息的优化算法，它通过构造一个二次近似模型来逼近目标函数，从而寻找最佳阈值。
在计算阈值的优化中，可以将目标函数设置为损失函数，然后通过牛顿法来求解最佳阈值。
具体步骤如下：初始化阈值取一个合适的初始值；计算目标函数关于阈值的一阶导数和二阶导数；根据一阶导数和二阶导数更新阈值；重复上述步骤直至满足收敛条件。
3.拟牛顿法（QuasiNewtonMethod）是一种利用目标函数的一阶导数信息来逼近最优解的优化算法，它通过计算梯度的近似矩阵来更新阈值。
在计算阈值的优化中，可以将目标函数设置为分类准确率、F1值、AUC等评测指标，然后通过拟牛顿法来寻找最佳阈值。
具体步骤如下：初始化阈值取一个合适的初始值；计算目标函数关于阈值的梯度；根据梯度近似矩阵更新阈值；重复上述步骤直至满足收敛条件。
4.遗传算法（GeneticAlgorithm）是一种模拟生物进化过程的优化算法，它通过模拟选择、交叉和变异等操作来寻找最佳阈值。
在计算阈值的优化中，可以将目标函数设置为分类准确率、F1值、AUC等评测指标，然后通过遗传算法来搜索最佳阈值。
具体步骤如下：初始化一组阈值作为种群；根据目标函数对种群进行评估和选择操作；通过交叉和变异操作产生新的种群；重复上述步骤直至满足收敛条件。
5.模拟退火算法（SimulatedAnnealing）是一种模拟物质退火过程的优化算法，它通过允许一定的“上坡”移动来避免陷入局部最优解，并以一定概率接受劣解，从而有机会跳出局部最优解，寻找全局最优解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
梯度下降和拟牛顿七月算法邹博2015年7月12日2/75预备题目☐已知二次函数的一个点函数值和导数值，以及另外一个点的函数值，如果确定该函数的解析式？⏹即：二次函数f(x)，已知f(a)，f’(a)，f(b)，求f(x)⏹特殊的，若a=0，题目变成：⏹对于二次函数f(x)，已知f(0)，f’(0)，f(a)，求f(x)00'00'22f a f x af a f a f x f3/75从线性回归谈起y=ax+b=ax 1+bx 0，其中，x 0≡14/75 多个变量的情形考虑两个变量x x x h x x x h Tni i i 0221105/75θ的解析式的求解过程☐将M 个N 维样本组成矩阵X ：⏹其中，X 的每一行对应一个样本，共M 个样本⏹X 的每一列对应样本的一个维度，共N 维☐其实还有额外的一维常数项，全为1☐一个比较“符合常理”的误差函数为：☐已经论证：最小二乘建立的目标函数，是在高斯噪声的假设下，利用极大似然估计的方法建立的。
y X y X y x h J T m i i i 2121126/75梯度下降算法☐初始化θ(随机初始化)☐迭代，新的θ能够使得J(θ)更小☐如果J(θ)无法继续减少或者达到循环上界次数，退出。
⏹α：学习率、步长m i i i y x h J 12217/75线性回归目标函数的梯度方向计算8/75问题似乎完美解决算法描述+凸函数极值9/75思考☐学习率α如何确定⏹使用固定学习率还是变化学习率⏹学习率设置多大比较好？☐下降方向⏹处理梯度方向，其他方向是否可以？⏹可行方向和梯度方向有何关系？10/75 实验：固定学习率的梯度下降 y=x 2，初值取x=1.5，学习率使用0.0111/75固定学习率☐分析：☐效果还不错☐经过200次迭代，x=0.0258543；☐经过1000次迭代，x=2.52445×10-912/75实验2：固定学习率的梯度下降 y=x 4，初值取x=1.5，学习率使用0.0113/75固定学习率☐分析：效果不理想⏹经过200次迭代，x=0.24436；⏹经过1000次迭代，x=0.11127514/75附：固定学习率实验的C 代码15/75优化学习率☐分析“学习率α”在f(x)中的意义☐调整学习率：⏹在斜率(方向导数)大的地方，使用小学习率⏹在斜率(方向导数)小的地方，使用大学习率☐如何构造学习率α16/75梯度下降的运行过程分析☐x k =a ，沿着负梯度方向，移动到x k+1=b ，有：☐从x0为出发点，每次沿着当前函数梯度反方向移动一定距离αk ，得到序列：☐对应的各点函数值序列之间的关系为：☐当n 达到一定值时，函数f(x)收敛到局部最小值17/75视角转换☐记当前点为x k ，当前搜索方向为d k (如：负梯度方向)，因为学习率α是待考察的对象，因此，将下列函数f(x k +αd k )看做是关于α的函数h(α)。
☐当α=0时，h(0)=f(x k )☐导数 0, k k d x f h kT k k d d x f h18/75学习率α的计算标准☐因为梯度下降是寻找f(x)的最小值，那么，在x k 和d k 给定的前提下，即寻找函数f(x k +αd k )的最小值。
即：☐进一步，如果h(α)可导，局部最小值处的α满足： k k d x f h 00min arg min arg 0' k T k k d d x f h19/75学习率函数导数的分析☐将α=0带入：☐下降方向d k 可以选负梯度方向⏹或者选择与负梯度夹角小于90°的某方向(后面会继续阐述搜索方向问题)☐从而：☐如果能够找到足够大的α，使得☐则必存在某α，使得☐α*即为要寻找的学习率。
0' k T k k d d x f h kT k k T k k d x f d d x f h *00'k k x f d 00' h 0ˆ' h0'* h20/75 线性搜索(Line Search)☐最简单的处理方式⏹二分线性搜索(Bisection Line Search)⏹不断将区间[α1, α2]分成两半，选择端点异号的一侧，知道区间足够小或者找到当前最优学习率。
21/75回溯线性搜索(Backing Line Search)基于Armijo 准则计算搜素方向上的最大步长，其基本思想是沿着搜索方向移动一个较大的步长估计值，然后以迭代形式不断缩减步长，直到该步长使得函数值f(x k +αd k )相对与当前函数值f(x k )的减小程度大于预设的期望值(即满足Armijo 准则)为止。
1,011 c d x f c x f d x f kTk k k k22/75回溯与二分线性搜索的异同☐二分线性搜索的目标是求得满足h‘(α)≈0的最优步长近似值，而回溯线性搜索放松了对步长的约束，只要步长能使函数值有足够大的变化即可。
☐二分线性搜索可以减少下降次数，但在计算最优步长上花费了不少代价；回溯线性搜索找到一个差不多的步长即可。
23/75回溯线性搜索☐x 为当前值☐d 为x 处的导数☐a 为输入学习率☐返回调整后的学习率24/75实验：回溯线性搜索寻找学习率y=x 4，初值取x=1.5，回溯线性方法25/75回溯线性搜索☐分析：☐效果还不错☐经过12次迭代，x=0.00010872；☐经过100次迭代，x=3.64905×10-7⏹试比较固定学习率时:☐经过200次迭代，x=0.24436；☐经过1000次迭代，x=0.11127526/75回溯线性搜索的思考：插值法☐采用多项式插值法(Interpolation) 拟合简单函数，然后根据该简单函数估计函数的极值点，这样选择合适步长的效率会高很多。
☐现在拥有的数据为：x k 处的函数值f(x k )及其导数f’(x k ) ，再加上第一次尝试的步长α0。
如果α0满足条件，显然算法退出；若α0不满足条件，则根据上述信息可以构造一个二次近似函数：00'00'22000h h h h h h q27/75二次插值法求极值☐显然，导数为0的最优值为：☐若α1满足Armijo 准则，则输出该学习率；否则，继续迭代。
00'00'22000h h h h h h q0020100'20'h h h h28/75二次插值法☐x 为当前值☐d 为x 处的导数☐a 为输入学习率☐返回调整后的学习率29/75实验：二次插值线性搜索寻找学习率y=x 4，初值取x=1.5，二次插值线性搜索方法30/75二次插值线性搜索☐分析：☐效果还不错☐经过12次迭代，x=0.0000282229；☐经过100次迭代，x=3.61217×10-7⏹试比较回溯线性搜索时:☐经过12次迭代，x=0.00010872 ；☐经过1000次迭代，x=3.649×10-731/75总结与思考☐通过使用线性搜索的方式，能够比较好的解决学习率问题☐一般的说，回溯线性搜索和二次插值线性搜索能够基本满足实践中的需要☐问题：⏹可否在搜索过程中，随着信息的增多，使用三次或者更高次的函数曲线，从而得到更快的学习率收敛速度？⏹为避免高次产生的震荡，可否使用三次Hermite 多项式，在端点保证函数值和一阶导都相等，从而构造更光顺的简单低次函数？32/75搜索方向☐若搜索方向不是严格梯度方向，是否可以？☐思考：☐因为函数二阶导数反应了函数的凸凹性；二阶导越大，一阶导的变化越大。
在搜索中，可否用二阶导做些“修正”？如：二者相除？k k k k x f x f x x '''133/75实验：搜索方向的探索y=x 4，初值取x=1.5，负梯度除以二阶导34/75搜索方向的探索☐效果出奇的好！☐经过12次迭代，x=0.00770735；☐经过100次迭代，x=3.68948×10-18⏹试比较二次插值线性搜索时:☐经过12次迭代，x=0.0000282229；☐经过1000次迭代，x=3.61217×10-735/75分析上述结果的原因若f(x)二阶导连续，将f(x)在x k 处Taylor 展开：x R x x x f x x x f x f x k k k k k 22''21'k k k x x x f x f x ''''k k k k x f x f x x '''136/75牛顿法☐上述迭代公式，即牛顿法☐该方法可以直接推广到多维：用方向导数代替一阶导，用Hessian 矩阵代替二阶导37/75牛顿法的特点☐经典牛顿法虽然具有二次收敛性，但是要求初始点需要尽量靠近极小点，否则有可能不收敛。
☐计算过程中需要计算目标函数的二阶偏导数，难度较大。
☐目标函数的Hessian 矩阵无法保持正定，会导致算法产生的方向不能保证是f 在x k 处的下降方向，从而令牛顿法失效；☐如果Hessian 矩阵奇异，牛顿方向可能根本是不存在的。
38/75二阶导非正定的情况(一阶则为负数)39/75 修正牛顿方向40/75 拟牛顿的思路☐求Hessian 矩阵的逆影响算法效率，同时，搜索方向只要和负梯度的夹角小于90°即可，因此，可以用近似矩阵代替Hessian 矩阵，只要满足该矩阵正定、容易求逆，或者可以通过若干步递推公式计算得到。
⏹BFGS / LBFGS⏹Broyden –Fletcher –Goldfarb -Shanno41/75BFGS☐矩阵迭代公式☐初值选单位阵42/75L-BFGSBFGS 需要存储n ×n 的矩阵H k 用于近似Hessian 矩阵的逆矩阵；而L-BFGS 仅需要存储最近m(m 一般小于10，m=20足够)对n 维的更新数据(x,f‘(xi))即可。
L-BFGS 的空间复杂度O(mn)，若将m 看做常数，则为线性，特别适用于变量非常多的优化问题。
43/75熵后面是下一次课“最大熵模型”的初始部分，仅介绍熵的概念本身和定义，以及基本性质。
为了完整性，列出关于联合熵H(X,Y)、相对熵D(X||Y) 、条件熵H(X|Y)、互信息I(X,Y)的内容，讲在下次课与最大熵模型一起阐述。
44/45/46/47/75从小学数学开始☐假设有5个硬币：1,2,3,4,5，其中一个是假的，比其他的硬币轻。
有一个天平，天平每次能比较两堆硬币，得出的结果可能是以下三种之一：⏹左边比右边轻⏹右边比左边轻⏹两边同样重☐问：至少要使用天平多少次才能确保找到假硬币?48/75答案☐一种可能的称量方法如右图所示☐答案：2次☐追问：为什么2次？1+2 ? 3+41 ? 23 ? 4514>=><<23<>49/75分析☐令x 表示假硬币的序号：x ∈X={1,2,3,4,5}；☐令yi 是第i 次使用天平所得到的结果：y ∈Y={1,2,3}；⏹1表示“左轻”，2表示“平衡”，3表示“右轻”☐用天平称n 次，获得的结果是：y1 y2…yn ；☐y1 y2…yn 的所有可能组合数目是3n ；☐根据题意，要求通过y1 y2…yn 确定x 。