最优化问题中的KKT条件及其应用

最优化问题中的KKT条件及其应用在数学中，最优化问题是一种经常遇到的问题。

一个最优化问
题就是想要在一定的限制条件下，找到一个最优的解决方案，使
得目标函数达到最小或最大值。

KKT条件是描述约束最优化问题
的一组必要和充分条件，本文将会介绍其特点和应用。

一、约束最优化问题简介
在实际问题中，我们常常需要求解某种函数的最大值或最小值，而该函数的最大值或最小值受到某些限制条件的限制，这类问题
常常称为约束最优化问题。

举例：
假设现在手上有100万元人民币，而我们希望该100万元的贷
款可以获得尽可能高的投资回报。

对于该问题，我们需要确定以
下内容：
1. 投资的方案：假设有若干种投资方案可以选择，即在年底结
束后能获得相应的回报；
2. 投资的约束条件：尽管有若干种投资方案可以选择，但我们
不能选择那些不符合以下条件的投资方案：
2.1 投资的总额不能超过100万元；
2.2 投资方案的回报超过入市利率，否则选择入市即可。

现在，我们需要确定如何选择能够为我们获得更多利润的投资方案。

二、KKT条件简介
KKT条件的全称是 Karush-Kuhn-Tucker 条件，它是非线性规划最常用的求解方法之一，是求解约束最优化问题的必要和充分条件。

此处不再赘述它的推导方法，简单介绍一下其形式。

对于非线性约束优化问题：
$$
\begin{array}{l}{\min f(\mathrm{x})} \\ {\text {s.t. }
g_{i}(\mathrm{x}) \leq 0, i=1,2, \ldots, m} \\ {h_{i}(\mathrm{x})=0, i=1,2, \ldots, n}\end{array}
$$
其中，m和n分别是不等式约束和等式约束的个数。

则KKT条件的形式为:
$$
\begin{aligned} \nabla f(x)+\sum_{i=1}^{m} \lambda_{i} \nabla g_{i}(x)+\sum_{i=1}^{n} v_{i} \nabla h_{i}(x)=0 \\ \lambda_{i}
g_{i}(x)=0 \quad \lambda_{i} \geq 0 \quad i=1,2, \ldots, m \\
h_{i}(x)=0 \quad i=1,2, \ldots, n \end{aligned}
$$
其中，$\lambda_{i}$和$v_{i}$分别代表不等式约束和等式约束的拉格朗日乘子。

三、KKT条件的应用
KKT条件有着广泛的应用，我们可以将其用于约束优化问题的求解中。

下面，我们结合例子来说明KKT条件的使用。

假设有一个无线电台，现在要在整个城市范围内建造信号塔，以期覆盖整个城市。

已知这座城市有n个区域，而每个区域都有不同的高度，无线电台需要选择一个区域来建造信号塔。

区域的高度和建造的成本与所选区域的高度成正比。

建造高的区域价格较高，而建造低的区域价格较低，但是低的区域信号范围较小。

现在，我们需要确定建造信号塔的最优方案。

显然，我们的目标是最小化成本，而我们的约束条件是无线电台信号范围需要覆盖整个城市，即：
$$
\sum_{i=1}^{n} c_{i} x_{i} \rightarrow \min \quad\text{和}\quad \sum_{i=1}^{n} h_{i} x_{i} \geq H
$$
其中，$c_{i}$代表第i个区域的成本，$x_{i}$代表第i个区域的选择与否，$h_{i}$代表第i个区域的高度，$H$代表无线电台的最小信号范围（即需要覆盖城市的最高建筑物的高度）。

我们定义一个拉格朗日函数：
$$
L(x,\gamma,\lambda)=\sum_{i=1}^{n} c_{i}
x_{i}+\sum_{i=1}^{n} \lambda_{i}(h_{i} x_{i}-H)-\gamma
\sum_{i=1}^{n} x_{i}
$$
其中，$\lambda_{i}$是拉格朗日乘数，即上述函数的，$γ$是一个需满足$\gamma≥0$的实数。

我们对边界情况进行分析，如果选中某一直接高于H的区域（假设选择了第i个区域），那么其他选中区域的成本就不会影响总成本，故$L(x,\gamma,\lambda)$的最大值就是$c_{i}$。

我们接着求解L(x,γ,λ)的最大值
$$
\begin{aligned} L(x, \gamma, \lambda) &=\sum_{i=1}^{n} c_{i} x_{i}+\sum_{i=1}^{n} \lambda_{i}(h_{i} x_{i}-H)-\gamma
\sum_{i=1}^{n} x_{i} \\ &=\sum_{i=1}^{n}\left(c_{i}+\lambda_{i} h_{i}-\gamma\right) x_{i}-\lambda_{0} H \end{aligned}
$$
对$x_{i}$求导可得：
$$
\left.\frac{\partial L(x,\gamma,\lambda)}{\partial
x_{i}}=c_{i}+\lambda_{i} h_{i}-
\gamma\right|_{x_{i}=1}^{i=1,\ldots, n}
$$
由于$L(x, γ, λ)=∑_{i=1}^{n} {(c_i+λ_ih_i−γ)x_i−λ_0H}$，因此KKT条件中的第一个就是$\frac{\partial
L(x,\gamma,\lambda)}{\partial x_{i}}=0$。

假设$t$个区域实际上高
度比$H$更大，那么$\lambda_i=0$（即未约束变量的KKT条件），此外，$\lambda_i≥0$（因为坐标下降会使得$(c_i+λ_ih_i−γ)$≤0，
所以这时$\lambda_i=0$）。

此外，由于所有的$\lambda_ih_i$在某
一时刻等于0（非活动约束）或者在另一时刻等于$γ-c_i$（次乘数定律），故我们仍有$\sum_{i=1}^{n} h_{i} x_{i} \geq H$。

四、小结
本文介绍了最优化问题及其应用，重点讲解了KKT条件。

KKT条件是求解约束最优化问题的必要及充分条件，使用它可以
帮助我们更好的求解约束最优化问题。

除了上述例子，KKT条件
还可以应用于很多实际问题中，大大提高了计算效率及分析效果。