支持向量机回归模型中目标函数的 五个理解
Lingchun Xiong, Yumei Li
School of Science, Beijing Technology and Business University, Beijing
达式中的参数 W 和 b，从而求得回归方程。 支持向量机回归最早是在 1996 年由 Vladimir N. Vapnik 等人提出[1]。在 SVM 回归过程中，首先，
通过函数映射 ϕ ( X ) 把数据转换到高维空间去找一条回归直线或者回归超平面。然后，为回归直线或超
平面构造 2ε 的间隔带，在间隔带内的数据点，认为没有损失，在间隔带外的才计算损失。如下图 1，为 每个数据点设两个损失量，即，如果该数据点在间隔带上方，损失记为 ξi ，在下方，则损失记为 ξi′ ，这 两个损失量最多只能有一个成立，或者说最多只有一个非零，因为这个数据点要么在回归超平面的上方，
53
数据挖掘
熊令纯，李裕梅
∑ min
1W 2
TW
+
l
C (ξi
i =1
+ ξi′)
W
Tϕ
(
Xi
)
+
b
−
yi
≤
ε
+
ξi
s.t.
−W
Tϕ
(
Xi
)
−
b
+
yj
≤
ε
+
ξi′
ξi ,ξi′ ≥ 0
i = 1, ,l.
f(X) = WTφ(X) + b + ε (xi, yi) ξi
f(X) = WTφ(X) + b
Received: Apr. 4th, 2019; accepted: Apr. 18th, 2019; published: Apr. 25th, 2019
Abstract
There are differences between support vector machine regression and classification. The problem of classification starts with maximizing the gap between the two classes, but regression problem needs to find a regression equation which is close to the real function value. In addition, support vector machine regression and ordinary regression problems are different; it needs to set up a 2ε interval belt, and the losses are not calculated for the data in the interval belt, but the losses must be calculated for the data beyond belt. While minimizing losses, there is another item 1 W 2
ε , y′j )
f(X) = WTφ(X) + b − ε
Figure 1. 2ε interval bands of SVM regression 图 1. SVM 回归的 2ε 间隔带
其求解过程和支持向量机分类问题的求解类似，也是用拉格朗日乘子法，即，让每个约束条件乘上
一个拉格朗日乘子再带入目标函数中，得到下面的拉格朗日函数 LP ：
2 尤其是在学习了支持向量机分类问题后，更容易把这个项和分类问题中同样的项意味着的最大化间隔相 联系，但又不能直接对应上。于是，我们从正则化、结构风险最小化(岭回归、权重衰减)、回归超平面 的flatten、二分类问题的转化、回归问题的本质这五个方面着手，从不同的角度进行透彻分析和解释 1 W 2 ，从而为支持向量机回归模型的目标函数的理解进一步理清思路、扫清障碍。而且，第五个理解 2 站在了新的高度，从问题的本质出发，统一了前面四个理解，也具有自己独特的看法。
2 in the objective function of the model, and the understanding of this item brings difficulties in the teaching process. Especially after studying the SVM classification problem, it is easier to associate this term with the maximization interval of the same term in the classification problem but it cannot be directly matched. From regularization, structural risk minimization, flatteness of the regression hyperplane, transformation of regression problem to binary classification problem, and the nature of regression, we will analyze and explain in different points, and clear up the obstacles for support vector regression’s understanding. Moreover, the fifth viewpoint is at a new height, unifies the first four understandings from the nature of the problem, and it also has its own unique views.
Keywords
Support Vector Machine Regression, Five Understanding of Objective Function, Regularization, Structural Risk Minimization, Flatteness of the Regression Hyperplane, Transformation of Regression Problem to Binary Classification Problem, The Nature of Regression
LP (W ,b, Ξ, Ξ′, Λ, Λ′, Γ, Γ′)
( ) ∑ ∑ = ( ) 12= W TW + C iQ1= ξi + ξi′ − i l1 λi W Tϕ ( Xi ) + b − yi + ε + ξi
( ) l′
Q
− ∑ λi′ yi −W Tϕ ( Xi ) − b + ε + ξi′ − ∑ (γ iξi + γ i′ξi′)
要么在下方；如果恰好在边界 = f ( X ) W Tϕ ( X ) + b + ε 或者 = f ( X ) W Tϕ ( X ) + b − ε 上，则 ξi 和 ξi′ 都为 0，
这样的数据点就是支持向量。 SVM 回归的数学模型的一般形式如下[2] [3] [4] [5]：
DOI: 10.12677/hjdm.2019.92007
关键词
支持向量机回归，目标函数的五个理解，正则化，结构风险最小化，回归超平面的Flatten， 二分类问题的转化，回归问题的本质
Copyright © 2019 by author(s) and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). /licenses/by/4.0/
ns
∑
λˆk
− λˆk′
ϕ ( X k )ϕ ( X ) +=bˆ
ns
∑
λˆk − λˆk′
K ( X k , X ) + bˆ ,
=k 1=k 1
其中，K 为核函数，在一般的计算机软件里经常有以下几种：
=i 1=i 1
( ) ∑∑ −
( 1 Q Q
2=i 1=j 1
λi
−
λi′) ( λi
−
λi′)ϕ T
(
Xi
)ϕ
Xj
s.t.
∑ Q
i=1
λi
−
λi′
= 0
0 ≤ λi ≤ C i = 1, 2,
,Q
0 ≤ λi′ ≤ C i = 1, 2, ,Q
然后用 SMO 算法求得权重：
( ) ( ) Wˆ
Q
= ∑ λˆi − λˆi′
ϕ
(
X
i
)
ns
= ∑
λˆk
− λˆk′
ϕ (Xk )
=i 1=k 1
再根据各个支持向量满足的条件 Wˆ Tϕ ( Xi ) + b − yi =ε ，求得 b，并将求得的多个 b 做平均，得到最
终的截距 bˆ . 从而得到最终回归超平面为：
( ) ( ) f ( X=)
摘要
支持向量机回归和支持向量机分类有区别，分类问题主要从最大化两类间的间隔入手，而回归问题则需 要寻找适合这批数据的自变量和因变量之间关系的回归方程，使得由回归方程计算出来的因变量值和实 际数据中的因变量值尽量接近。并且，支持向量机回归和普通的回归问题还不一样，设定了一个 2ε 间隔 带，在这个间隔带内的数据点、不计算损失，之外的计算损失，在尽量最小化损失的同时，模型的目标 函数里多了个 1 W 2 ，关于这个项，有很多疑问，给支持向量机回归目标函数的理解造成了很大的困难，
基于支持向量机回归的农产品物流需求预测
基于支持向量机回归的农产品物流需求预测摘要:农产品物流虽然具有普通物流的共同特点,但因其具有独特性和复杂性,这导致利用一般方法进行农产品物流需求预测不仅难度大,而且精度差。
为了提高农产品物流需求预测的能力,应用基于结构风险最小化准则的标准支持向量机回归方法来研究农产品物流需求预测问题。
在选择适当的参数和核函数的基础上, 通过对实例研究,对时间序列数据进行预测,发现该方法能获得最小的训练相对误差和测试相对误差。
结果表明,支持向量机回归是研究农产品物流需求预测的有效方法。
关键词:支持向量机回归农产品物流需求预测模型1 引言农产品物流对于国民经济的发展及公民生活水平的提高至关重要,准确把握、预测农产品物流需求有助于制定合理的农产品物流规划、促进国民经济可持续发展、提高公民生活水平。
近年来,国内外很多学者在物流需求预测上,提出了很多有创新性和实践意义的方法。
如,基于线性回归模型的物流需求预测[1]、基于时间序列模型在物流需求预测中的应用[2]、基于灰色-马尔科夫链的区域物流需求预测[3]、基于经验风险最小化原则人工神经网络[4]方法。
支持向量机是近几年来应用于建模的一种新的学习方法。
支持向量机算法最终将转化为一个二次型寻优问题,从理论上讲得到的将是全局最优点,支持向量机的拓扑结构由支持向量决定,避免了传统神经网络拓扑结构需要经验试凑方法确定,而且SVM的最优求解基于结构风险最小化思想,因此具有比其他非线性函数逼近方法具有更强的泛化能力。
本文就是根据支持向量机模型对样本限制少,能进行小样本、多因素的非线性分类的特点,采用支持向量机模型(选用v-SVR和RBF 核函数)对农产品物流需求进行预测。
最后通过测试,验证了利用支持向量机模型建立的需求预测模型能较好地实现农产品物流需求的预测,并取得了较好的效果。
2 支持向量机解决回归问题的基本原理支持向量机最初是由Vapnik提出的一种基于统计学习理论的机器学习算法,相对于神经网络的启发式学习方式和实现中带有的很大的经验成份相比,SVM具有更严格的理论和数学基础,支持向量机其基本思想就是把训练数据集从输入空间非线性地映射到一个高维特征空间(Hilbert空间),然后在此空间中求解凸优化问题(典型二次规划问题),可以得到全局最优解,支持向量机在最小化经验风险的同时最小化置信风险,有效地保证了较强的推广特性且推广能力可以得到方便的控制。
名词解释目标函数
目标函数及其应用一、目标函数的基本概念目标函数是机器学习中的一个基本概念，它用于衡量模型预测结果与真实结果之间的差距。
在监督学习中，目标函数通常表示为损失函数，它被用于计算模型预测结果与真实结果之间的误差。
目标函数有多种类型，其中最常见的类型是平方误差、均方误差和交叉熵损失函数。
平方误差损失函数通常用于回归问题，它表示预测结果与真实结果之间的平方误差。
均方误差损失函数用于分类问题，它表示预测结果与真实结果之间的均方误差。
交叉熵损失函数用于多分类问题，它表示预测结果与真实结果之间的交叉熵。
二、目标函数的常用类型及其应用目标函数的选择直接影响到模型的性能，因此通常是机器学习研究中的一个重要问题。
下面我们将介绍几种常用的目标函数及其应用。
1. 平方误差损失函数平方误差损失函数是机器学习中最常用的目标函数之一，它用于回归问题。
平方误差损失函数可以表示为:$L(theta) = frac{1}{n} sum_{i=1}^{n} (y_i - hat{y}_i)^2$ 其中，$y_i$表示真实结果，$hat{y}_i$表示预测结果，$n$表示样本数。
平方误差损失函数在回归问题中的应用非常广泛，它可以帮助模型拟合真实结果，从而提高模型的预测能力。
2. 均方误差损失函数均方误差损失函数用于分类问题，它表示为:$L(theta) = frac{1}{n} sum_{i=1}^{n} (y_i - hat{y}_i)^2$ 其中，$y_i$表示真实结果，$hat{y}_i$表示预测结果，$n$表示样本数。
均方误差损失函数可以帮助模型拟合真实结果，从而提高模型的分类能力。
3. 交叉熵损失函数交叉熵损失函数用于多分类问题，它表示为:$L(theta) = -frac{1}{n} sum_{i=1}^{n} y_i log(hat{y}_i)$ 其中，$y_i$表示真实结果，$hat{y}_i$表示预测结果，$n$表示样本数。
支持向量机(SVM)、支持向量机回归(SVR)：原理简述及其MATLAB实例
支持向量机（SVM）、支持向量机回归（SVR）：原理简述及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法2）关于KKT条件2、范数1）向量的范数2）矩阵的范数3）L0、L1与L2范数、核范数二、SVM概述1、简介2、SVM算法原理1）线性支持向量机2）非线性支持向量机二、SVR：SVM的改进、解决回归拟合问题三、多分类的SVM1. one-against-all2. one-against-one四、QP（二次规划）求解五、SVM的MATLAB实现：Libsvm1、Libsvm工具箱使用说明2、重要函数：3、示例支持向量机（SVM）：原理及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法首先来了解拉格朗日乘子法，为什么需要拉格朗日乘子法呢？记住，有需要拉格朗日乘子法的地方，必然是一个组合优化问题。
那么带约束的优化问题很好说，就比如说下面这个：这是一个带等式约束的优化问题，有目标值，有约束条件。
那么你可以想想，假设没有约束条件这个问题是怎么求解的呢？是不是直接 f 对各个 x 求导等于 0，解 x 就可以了，可以看到没有约束的话，求导为0，那么各个x均为0吧，这样f=0了，最小。
但是x都为0不满足约束条件呀，那么问题就来了。
有了约束不能直接求导，那么如果把约束去掉不就可以了吗？怎么去掉呢？这才需要拉格朗日方法。
既然是等式约束，那么我们把这个约束乘一个系数加到目标函数中去，这样就相当于既考虑了原目标函数，也考虑了约束条件。
现在这个优化目标函数就没有约束条件了吧，既然如此，求法就简单了，分别对x求导等于0，如下：把它在带到约束条件中去，可以看到，2个变量两个等式，可以求解，最终可以得到,这样再带回去求x就可以了。
那么一个带等式约束的优化问题就通过拉格朗日乘子法完美的解决了。
更高一层的，带有不等式的约束问题怎么办？那么就需要用更一般化的拉格朗日乘子法，即KKT条件，来解决这种问题了。
支持向量回归模型,径向基函数
支持向量回归模型,径向基函数1.引言1.1 概述概述支持向量回归模型是一种机器学习算法，用于解决回归问题。
它基于支持向量机（Support Vector Machine，简称SVM）算法发展而来，相比于传统的回归模型，支持向量回归模型具有更强的鲁棒性和泛化能力。
支持向量回归模型的核心思想是通过在训练数据中找到能够最好地拟合数据的超平面，以预测目标变量的值。
与传统的回归模型不同，支持向量回归模型不仅考虑样本点的位置关系，还引入了一个叫做“支持向量”的概念。
支持向量是在模型训练过程中起关键作用的样本点，它们离超平面的距离最近，决定了超平面的位置和形状。
径向基函数是支持向量回归模型中常用的核函数。
径向基函数通过将原始特征映射到高维空间，使得原本线性不可分的数据在新的空间中变得线性可分。
在支持向量回归模型中，径向基函数可以用于构建非线性的映射关系，从而提高模型的预测能力。
本文将围绕支持向量回归模型和径向基函数展开讨论。
首先，我们将详细介绍支持向量回归模型的原理和算法。
然后，我们将探讨径向基函数的概念和应用场景。
接下来，我们将设计实验来验证支持向量回归模型在不同数据集上的表现，并对实验结果进行分析。
最后，我们将对本文进行总结，并展望支持向量回归模型和径向基函数在未来的研究和应用中的潜力。
通过本文的阅读，读者将对支持向量回归模型和径向基函数有更深入的了解，并能够将其应用于实际问题中。
支持向量回归模型的引入和径向基函数的使用为解决回归问题提供了一种新的思路和方法，对于提高预测精度和模型的鲁棒性具有重要意义。
1.2文章结构文章结构部分可以描述整篇文章的组织和章节安排，使读者能够清楚地了解文章的框架和内容概要。
在本篇文章中，主要分为以下几个章节：1. 引言：- 1.1 概述：简要介绍支持向量回归模型和径向基函数的背景和概念。
- 1.2 文章结构：对整篇文章的章节和内容进行概述，让读者知道接下来会涉及到哪些内容。
- 1.3 目的：明确本文的研究目的和动机。
二分类目标函数
二分类目标函数二分类目标函数是在二分类问题中用来衡量模型性能的指标。
在机器学习和统计学中，二分类问题是指将样本分为两个类别的问题，例如将垃圾邮件和非垃圾邮件进行分类，将癌症患者和非癌症患者进行分类等。
二分类目标函数的目的是衡量模型对于不同类别的样本的分类准确性。
常见的二分类目标函数包括交叉熵损失函数、对数损失函数和Hinge损失函数等。
交叉熵损失函数是一种常用的二分类目标函数，它的定义如下：对于一个样本，如果它属于正例类别，交叉熵损失函数的取值为-log(预测概率)，如果它属于负例类别，交叉熵损失函数的取值为-log(1-预测概率)。
通过计算所有样本的交叉熵损失函数的平均值，可以得到模型的损失函数。
模型的目标就是通过优化损失函数来使得模型对于不同类别的样本进行准确分类。
对数损失函数是另一种常用的二分类目标函数，它的定义如下：对于一个样本，如果它属于正例类别，对数损失函数的取值为-log(预测概率)，如果它属于负例类别，对数损失函数的取值为-log(1-预测概率)。
通过计算所有样本的对数损失函数的平均值，可以得到模型的损失函数。
对数损失函数也是一种常用的评估二分类模型性能的指标。
Hinge损失函数是支持向量机中常用的二分类目标函数，它的定义如下：对于一个样本，如果它属于正例类别且预测概率大于1，Hinge损失函数的取值为0，如果它属于正例类别且预测概率小于等于1，Hinge损失函数的取值为1-预测概率，如果它属于负例类别且预测概率小于-1，Hinge损失函数的取值为0，如果它属于负例类别且预测概率大于等于-1，Hinge损失函数的取值为1+预测概率。
通过计算所有样本的Hinge损失函数的平均值，可以得到模型的损失函数。
除了以上介绍的几种常用的二分类目标函数，还有其他一些指标可以用来衡量模型的性能，例如准确率、精确率、召回率和F1值等。
准确率是指模型正确分类的样本数占总样本数的比例，精确率是指在所有预测为正例的样本中，实际为正例的样本占比，召回率是指在所有实际为正例的样本中，预测为正例的样本占比，F1值是精确率和召回率的调和平均数。
支持向量机回归的参数选择方法
支持向量机回归的参数选择方法支持向量机（Support Vector Machine，简称SVM）是一种非常强大且广泛应用于机器学习领域的算法。
它不仅适用于分类问题，还可以用于回归任务。
本文将深入探讨支持向量机回归的参数选择方法，并分析其优势和应用场景。
SVM回归的目标是通过拟合一个最优的超平面来预测连续变量的输出。
与分类任务不同的是，SVM回归关注的是给定输入样本点的输出数值。
在SVM回归中，参数选择方法对模型性能的影响非常重要。
我们来讨论SVM回归的核函数选择。
核函数是SVM中的一个关键概念，它可以将输入样本从原始特征空间映射到高维特征空间。
常见的核函数包括线性核函数、多项式核函数和高斯核函数等。
针对回归任务，一般常用的是高斯核函数，它能更好地处理非线性关系。
接下来，我们讨论SVM回归的惩罚参数C选择。
惩罚参数C控制着模型对误差的容忍程度，其值的选择对模型的求解和泛化能力都会产生较大影响。
当C的值较小时，模型会容忍更多的误差，从而产生较宽泛的超平面；相反，当C的值较大时，模型会更严格地拟合训练样本，但可能会导致过拟合现象。
在参数选择过程中，需要权衡模型的拟合能力和泛化能力。
另外，核函数的超参数γ也是SVM回归中需要选择的重要参数。
γ决定了高斯核函数的带宽，即决定了样本点对决策边界的影响程度。
当γ较大时，样本点之间的距离对决策边界的影响减小，决策边界可能变得更加平滑；相反，当γ较小时，样本点之间的距离对决策边界的影响增大，决策边界可能更加对训练样本敏感。
在选择参数C和γ时，通常使用交叉验证的方法来评估模型的性能。
交叉验证将数据集划分为训练集和验证集，在不同的参数组合下训练模型，并在验证集上计算模型的性能指标，如均方误差（Mean Squared Error，简称MSE）。
根据验证集上的性能表现，选择使MSE最小的参数组合作为最终的模型参数。
支持向量机回归的参数选择方法涉及到核函数选择、惩罚参数C的确定和高斯核函数的超参数γ的选择。
支持向量机原理
支持向量机原理支持向量机（Support Vector Machine，SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。
支持向量机的学习策略是间隔最大化，可形式化为一个求解凸二次规划问题。
SVM是一种分类算法，它的基本原理是找到一个超平面，将不同类别的数据分隔开来，使得两个类别的数据点到超平面的距离最大化。
支持向量机的原理主要包括间隔、支持向量、对偶问题和核函数等几个方面。
首先，我们来看支持向量机的间隔。
在支持向量机中，间隔是指两个异类样本最近的距离，而支持向量机的目标就是要找到一个超平面，使得所有样本点到这个超平面的距离最大化。
这个距离就是间隔，而支持向量机的学习策略就是要最大化这个间隔。
其次，支持向量机的支持向量。
支持向量是指离超平面最近的那些点，它们对超平面的位置有影响。
支持向量决定了最终的超平面的位置，而其他的点对超平面的位置没有影响。
因此，支持向量是支持向量机模型的关键。
然后，我们来看支持向量机的对偶问题。
支持向量机的原始问题是一个凸二次规划问题，可以通过求解对偶问题来得到最终的分类超平面。
通过对偶问题，我们可以得到支持向量的系数，从而得到最终的分类超平面。
最后，我们来看支持向量机的核函数。
在实际应用中，很多时候样本不是线性可分的，这时就需要用到核函数。
核函数可以将原始特征空间映射到一个更高维的特征空间，使得样本在这个高维特征空间中线性可分。
常用的核函数有线性核、多项式核和高斯核等。
综上所述，支持向量机是一种非常强大的分类算法，它通过最大化间隔来得到最优的分类超平面，支持向量决定了最终的超平面的位置，对偶问题可以通过求解对偶问题来得到最终的分类超平面，而核函数可以处理非线性可分的情况。
支持向量机在实际应用中有着广泛的应用，是一种非常重要的机器学习算法。
希望本文对支持向量机的原理有所帮助，让读者对支持向量机有更深入的理解。
支持向量机作为一种经典的机器学习算法，有着重要的理论意义和实际应用价值。
支持向量机及支持向量回归简介
3．支持向量机（回归）3.1.1 支持向量机支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。
它将输入样本集合变换到高维空间使得其分离性状况得到改善。
它的结构酷似三层感知器，是构造分类规则的通用方法。
SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。
作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。
所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。
因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。
由于内积运算量相当大，核技巧就是为了降低计算量而生的。
特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间n R 上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。
如果221(,)((),()),{}k k k k k K x y a x y a l φφ∞==∈∑，那么取1()()k k k x a x φφ∞==∑即为所求的非线性嵌入映射。
由于核函数(,)K x y 的定义域是原来的输入空间，而不是高维的特征空间。
因此，巧妙地避开了计算高维内积(),())x y φφ（所需付出的计算代价。
实际计算中，我们只要选定一个(,)K x y ，并不去重构嵌入映射1()()k k k x a x φφ∞==∑。
所以寻找核函数(,)K x y （对称且非负）就是主要任务了。
满足以上条件的核函数很多，例如可以取为d-阶多项式：(,)(1)d K x y x y =+，其中y 为固定元素。
支持向量机模型
⽀持向量机模型⽀持向量机模型(SVM)是⼀个⼆分类模型，基本思想是求解能够正确划分训练数据集并且⼏何间隔最⼤的分离超平⾯，其学习策略便是间隔最⼤化，最终化为⼀个凸⼆次规划问题的求解。
SVM可分为线性可分⽀持向量机、线性⽀持向量机和⾮线性⽀持向量机。
算法推导1. 线性可分⽀持向量机引⼊函数间隔和⼏何间隔线性向量机的基本思想是硬间隔最⼤化，即：\begin{aligned} \max_{w,b} \ \ \ \ &γ\\ s.t.\ \ \ \ \ &y_i·\frac{1}{||w||} ·(w·x_i+b)≥γ，i=1,2,…,N \end{aligned}即：\begin{aligned} \max_{w,b} \ \ \ \ &\frac{ŷ}{||w||}\\ s.t.\ \ \ \ \ &y_i·(w·x_i+b)≥ŷ，i=1,2,…,N \end{aligned}取ŷ=1，得\begin{aligned} \min_{w,b} \ \ \ \ &\frac{1}{2}{||w||}^2\\ s.t.\ \ \ \ \ &y_i·(w·x_i+b)-1≥0，i=1,2,…,N \end{aligned}这是⼀个凸⼆次规划问题，通过引⼊拉格朗⽇乘⼦法，构建拉格朗⽇对偶函数，通过求其对偶函数的解，从⽽得到原始问题的最优解。
定义拉格朗⽇函数：L(w,b,α)= \frac{1}{2}{||w||}^2-\sum_{i=1}^N{α_iy_i (w·x_i+b)}+\sum_{i=1}^N{α_i}其中，α={(α_1,α_2,…,α_N)}^T为拉格朗⽇乘⼦向量，α_i≥0，i=1,2,…,N原始问题的对偶问题是极⼤极⼩问题：\max_α{\min_{w,b} L(w,b,α)}求解对偶问题求\min_{w,b} L(w,b,α)分别对w,b求偏导数并令其为0：\begin{aligned} \nabla_w L(w,b,α)=w-\sum_{i=1}^N{α_i y_i x_i}=0 \\ \nabla_b L(w,b,α)=\sum_{i=1}^N{α_i y_i}=0 \end{aligned}得\begin{aligned} w=\sum_{i=1}^N{α_i y_i x_i} \\ \sum_{i=1}^N{α_i y_i}=0 \end{aligned}代⼊拉格朗⽇函数，得L(w,b,α)= \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j+b)-\sum_{i=1}^N{α_i y_i ((\sum_{j=1}^N{α_j y_jx_j})·x_i+b)}+\sum_{i=1}^Nα_i= -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)+\sum_{i=1}^Nα_i即\min_{w,b} L(w,b,α) = -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)+\sum_{i=1}^Nα_i求\min_{w,b} L(w,b,α)对α的极⼤:\max_{α}\ \ \ -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)+\sum_{i=1}^Nα_is.t.\ \ \ \sum_{i=1}^N{α_i y_i}=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ α_i≥0，i=1,2,…,N即：\min_{α}\ \ \ \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)-\sum_{i=1}^Nα_is.t.\ \ \ \sum_{i=1}^N{α_i y_i}=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ α_i≥0，i=1,2,…,N求得最优解1\alpha^x={({\alpha_1}^x,{\alpha_2}^x,…,{\alpha_N}^x)}^{T}计算w^*=\sum_{i=1}^N {α_i}^x y_i x_i并选择α^x的⼀个正分量{α_j}^x>0，计算b^x=y_i-\sum_{i=1}^N {α_i}^x y_i (x_i·x_j)求得分类决策函数：f(x)=sign(w^x·x+b^x)可知w^x，b^x只依赖训练数据中对应于{α_i}^x>0的样本点(x_i,y_i)，⽽其他样本点对w^x，b^x没有影响。
目标函数简介各种机器学习算法的目标
SVM优化的目标为
minw
1 2
wTw
C
l i 1
max
0,1 yi wTxi
这和前面这种形式是等价的
logistic回归输出样本属于正样本的概率值 此时要确定概率函数的参数，使用最大似然估计
l
max L w
yi log h xi 1 yi log 1 h xi
目标函数简介 各种机器学习算法的目标 有监督学习的目标函数分类 分类问题的目标函数 回归问题的目标函数 多任务损失函数 数据生成模型的目标函数 聚类算法的目标函数 数据降维算法的目标函数 强化学习算法的目标函数
各种机器学习算法都是要达到我们想要的一些目标 这些目标可以抽象成一个目标函数，求函数的极大值或极小值 创造机器学习算法关键的一步是构造这个目标函数 一旦目标函数确定了，剩下的就是求解最优化问题
因此，可以说目标函数是机器学习建模思想的体现，是理解机器学习算法的灵魂
各种机器学习算法要达到的目标 有监督学习 分类问题 是什么 回归问题 是多少
无监督学习 聚类问题 降维问题
怎么分 怎么压
强化学习 怎么做
有监督学习 无论是分类问题，还是回归问题，最后都抽象为获得一个映射函数，将输入数据映射成我们想要的结果
2l i1
h
xi
yi
2 2
多任务损失函数
对于某些实际问题，机器学习算法要同时完成多个目标，此时设计出了多任务损失函数 典型的是目标检测问题，既要解决目标分类问题，又要解决目标定位问题，后者是一个回归问题
Fast R-CNN的损失函数
L p,u, tu , v Lcls p,u u 1 Lloc tu , v
拉损失函数的作用是让和样本标签相同的样本尽可能与它接近