支持向量回归简介
(完整版)支持向量机(SVM)原理及应用概述
支持向量机（SVM ）原理及应用一、SVM 的产生与发展自1995年Vapnik(瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。
同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。
SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。
)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。
例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。
此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。
支持向量回归简介
支持向量回归简介人类通过学习，从已知的事实中分析、总结出规律，并且根据规律对未来的现象或无法观测的现象做出正确的预测和判断，即获得认知的推广能力。
在对智能机器的研究当中，人们也希望能够利用机器（计算机）来模拟人的良好学习能力，这就是机器学习问题。
基于数据的机器学习是现代智能技术中的重要方面，机器学习的目的是通过对已知数据的学习，找到数据内在的相互依赖关系，从而获得对未知数据的预测和判断能力，在过去的十几年里，人工神经网络以其强大的并行处理机制、任意函数的逼近能力，学习能力以及自组织和自适应能力等在模式识别、预测和决策等领域得到了广泛的应用。
但是神经网络受到网络结构复杂性和样本复杂性的影响较大，容易出现“过学习”或低泛化能力。
特别是神经网络学习算法缺乏定量的分析与完备的理论基础支持，没有在本质上推进学习过程本质的认识。
现有机器学习方法共同的重要理论基础之一是统计学。
传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。
但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
与传统统计学相比, 统计学习理论(Statistical LearningTheory 或SLT ) 是一种专门研究小样本情况下机器学习规律的理论Vladimir N. Vapnik 等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟[17] ，也由于神经网络等学习方法在理论上缺乏实质性进展, 统计学习理论开始受到越来越广泛的重视。
统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。
它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题）等；同时, 在这一理论基础上发展了一种新的通用学习方法—支持向量机(Support Vector Machine 或SVM ) ，它已初步表现出很多优于已有方法的性能。
支持向量机(SVM)、支持向量机回归(SVR)：原理简述及其MATLAB实例
支持向量机（SVM）、支持向量机回归（SVR）：原理简述及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法2）关于KKT条件2、范数1）向量的范数2）矩阵的范数3）L0、L1与L2范数、核范数二、SVM概述1、简介2、SVM算法原理1）线性支持向量机2）非线性支持向量机二、SVR：SVM的改进、解决回归拟合问题三、多分类的SVM1. one-against-all2. one-against-one四、QP（二次规划）求解五、SVM的MATLAB实现：Libsvm1、Libsvm工具箱使用说明2、重要函数：3、示例支持向量机（SVM）：原理及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法首先来了解拉格朗日乘子法，为什么需要拉格朗日乘子法呢？记住，有需要拉格朗日乘子法的地方，必然是一个组合优化问题。
那么带约束的优化问题很好说，就比如说下面这个：这是一个带等式约束的优化问题，有目标值，有约束条件。
那么你可以想想，假设没有约束条件这个问题是怎么求解的呢？是不是直接 f 对各个 x 求导等于 0，解 x 就可以了，可以看到没有约束的话，求导为0，那么各个x均为0吧，这样f=0了，最小。
但是x都为0不满足约束条件呀，那么问题就来了。
有了约束不能直接求导，那么如果把约束去掉不就可以了吗？怎么去掉呢？这才需要拉格朗日方法。
既然是等式约束，那么我们把这个约束乘一个系数加到目标函数中去，这样就相当于既考虑了原目标函数，也考虑了约束条件。
现在这个优化目标函数就没有约束条件了吧，既然如此，求法就简单了，分别对x求导等于0，如下：把它在带到约束条件中去，可以看到，2个变量两个等式，可以求解，最终可以得到,这样再带回去求x就可以了。
那么一个带等式约束的优化问题就通过拉格朗日乘子法完美的解决了。
更高一层的，带有不等式的约束问题怎么办？那么就需要用更一般化的拉格朗日乘子法，即KKT条件，来解决这种问题了。
支持向量回归案例代码
支持向量回归案例代码支持向量回归（Support Vector Regression, SVR）是一种基于支持向量机的回归方法，可以用于解决回归问题。
下面列举了一些支持向量回归的案例代码，以帮助读者更好地理解和应用该方法。
1. 一维线性回归案例：```pythonfrom sklearn.svm import SVRimport numpy as np# 创建训练数据X = np.sort(5 * np.random.rand(100, 1), axis=0)y = np.sin(X).ravel()# 训练支持向量回归模型svr = SVR(kernel='linear', C=1.0, epsilon=0.2)svr.fit(X, y)# 预测X_test = np.linspace(0, 5, 100).reshape(-1, 1)y_pred = svr.predict(X_test)# 可视化结果import matplotlib.pyplot as pltplt.scatter(X, y, color='darkorange', label='data') plt.plot(X_test, y_pred, color='navy', label='SVR') plt.xlabel('X')plt.ylabel('y')plt.title('SVR - Linear Kernel')plt.legend()plt.show()```2. 多维非线性回归案例：```pythonfrom sklearn.svm import SVRimport numpy as np# 创建训练数据X = np.sort(5 * np.random.rand(100, 2), axis=0)y = np.sin(X[:, 0]) + np.cos(X[:, 1])# 训练支持向量回归模型svr = SVR(kernel='rbf', C=1.0, epsilon=0.2)svr.fit(X, y)# 预测X1 = np.linspace(0, 5, 50)X2 = np.linspace(0, 5, 50)X_test = np.array(np.meshgrid(X1, X2)).T.reshape(-1, 2)y_pred = svr.predict(X_test)# 可视化结果import matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfig = plt.figure()ax = fig.add_subplot(111, projection='3d')ax.scatter(X[:, 0], X[:, 1], y, color='darkorange', label='data')ax.scatter(X_test[:, 0], X_test[:, 1], y_pred, color='navy', label='SVR')ax.set_xlabel('X1')ax.set_ylabel('X2')ax.set_zlabel('y')ax.set_title('SVR - RBF Kernel')plt.legend()plt.show()```3. 支持向量回归中的参数调优：```pythonfrom sklearn.svm import SVRfrom sklearn.model_selection import GridSearchCVimport numpy as np# 创建训练数据X = np.sort(5 * np.random.rand(100, 1), axis=0)y = np.sin(X).ravel()# 定义参数范围param_grid = {'C': [0.1, 1.0, 10.0], 'epsilon': [0.1, 0.2, 0.5], 'kernel': ['linear', 'rbf']}# 使用网格搜索寻找最佳参数svr = SVR()grid_search = GridSearchCV(svr, param_grid, cv=5)grid_search.fit(X, y)# 输出最佳参数print("Best Parameters: ", grid_search.best_params_)# 预测X_test = np.linspace(0, 5, 100).reshape(-1, 1)y_pred = grid_search.predict(X_test)# 可视化结果import matplotlib.pyplot as pltplt.scatter(X, y, color='darkorange', label='data') plt.plot(X_test, y_pred, color='navy', label='SVR') plt.xlabel('X')plt.ylabel('y')plt.title('SVR - Best Parameters')plt.legend()plt.show()```4. 使用SVR进行时间序列预测：```pythonfrom sklearn.svm import SVRimport numpy as np# 创建时间序列数据X = np.arange(0, 10, 0.1).reshape(-1, 1)y = np.sin(X).ravel()# 训练支持向量回归模型svr = SVR(kernel='rbf', C=1.0, epsilon=0.2)svr.fit(X, y)# 预测X_test = np.arange(10, 20, 0.1).reshape(-1, 1)y_pred = svr.predict(X_test)# 可视化结果import matplotlib.pyplot as pltplt.plot(X, y, color='darkorange', label='data') plt.plot(X_test, y_pred, color='navy', label='SVR') plt.xlabel('X')plt.ylabel('y')plt.title('SVR - Time Series')plt.legend()plt.show()```5. 使用SVR进行异常点检测：```pythonfrom sklearn.svm import SVRimport numpy as np# 创建训练数据X = np.sort(5 * np.random.rand(100, 1), axis=0)y = np.sin(X).ravel()# 添加异常点X_outliers = np.array([[2.5]])y_outliers = np.array([10.0])X = np.concatenate((X, X_outliers))y = np.concatenate((y, y_outliers))# 训练支持向量回归模型svr = SVR(kernel='linear', C=1.0, epsilon=0.2)svr.fit(X, y)# 预测X_test = np.linspace(0, 5, 100).reshape(-1, 1)y_pred = svr.predict(X_test)# 可视化结果import matplotlib.pyplot as pltplt.scatter(X, y, color='darkorange', label='data')plt.plot(X_test, y_pred, color='navy', label='SVR')plt.scatter(X_outliers, y_outliers, color='red', label='outliers')plt.xlabel('X')plt.ylabel('y')plt.title('SVR - Outliers')plt.legend()plt.show()```6. 使用SVR进行多任务学习：```pythonfrom sklearn.svm import SVRimport numpy as np# 创建训练数据X = np.sort(5 * np.random.rand(100, 1), axis=0)y1 = np.sin(X).ravel()y2 = np.cos(X).ravel()# 训练支持向量回归模型svr = SVR(kernel='linear', C=1.0, epsilon=0.2, multioutput='uniform_average')svr.fit(X, np.column_stack((y1, y2)))# 预测X_test = np.linspace(0, 5, 100).reshape(-1, 1)y_pred = svr.predict(X_test)# 可视化结果import matplotlib.pyplot as pltplt.scatter(X, y1, color='darkorange', label='data1')plt.scatter(X, y2, color='limegreen', label='data2')plt.plot(X_test, y_pred[:, 0], color='navy', label='SVR1') plt.plot(X_test, y_pred[:, 1], color='purple', label='SVR2') plt.xlabel('X')plt.ylabel('y')plt.title('SVR - Multi-task Learning')plt.legend()plt.show()```7. 使用SVR进行特征选择：```pythonfrom sklearn.svm import SVRfrom sklearn.datasets import load_bostonfrom sklearn.feature_selection import SelectFromModel# 加载波士顿房价数据集X, y = load_boston(return_X_y=True)# 特征选择svr = SVR(kernel='linear', C=1.0, epsilon=0.2)sfm = SelectFromModel(svr)X_new = sfm.fit_transform(X, y)# 输出选择的特征print("Selected Features: ", sfm.get_support(indices=True)) ```8. 使用SVR进行稀疏数据回归：```pythonfrom sklearn.svm import SVRimport numpy as np# 创建稀疏训练数据X = np.sort(5 * np.random.rand(100, 1), axis=0)y = np.sin(X).ravel()X[::5] = np.nany[::5] = np.nan# 训练支持向量回归模型svr = SVR(kernel='linear', C=1.0, epsilon=0.2)svr.fit(X, y)。
支持向量机及支持向量回归简介
3．支持向量机（回归）3.1.1 支持向量机支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。
它将输入样本集合变换到高维空间使得其分离性状况得到改善。
它的结构酷似三层感知器，是构造分类规则的通用方法。
SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。
作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。
所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。
因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。
由于内积运算量相当大，核技巧就是为了降低计算量而生的。
特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间n R 上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。
如果221(,)((),()),{}k k k k k K x y a x y a l φφ∞==∈∑，那么取1()()k k k x a x φφ∞==∑即为所求的非线性嵌入映射。
由于核函数(,)K x y 的定义域是原来的输入空间，而不是高维的特征空间。
因此，巧妙地避开了计算高维内积(),())x y φφ（所需付出的计算代价。
实际计算中，我们只要选定一个(,)K x y，并不去重构嵌入映射1()()k k k x a x φφ∞==∑。
所以寻找核函数(,)K x y （对称且非负）就是主要任务了。
满足以上条件的核函数很多，例如● 可以取为d-阶多项式：(,)(1)d K x y x y =+g ，其中y 为固定元素。
支持向量机及支持向量回归简介
3．支持向量机（回归）3.1.1 支持向量机支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。
它将输入样本集合变换到高维空间使得其分离性状况得到改善。
它的结构酷似三层感知器，是构造分类规则的通用方法。
SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。
作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。
所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。
因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。
由于内积运算量相当大，核技巧就是为了降低计算量而生的。
特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间n R 上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。
如果221(,)((),()),{}k k k k k K x y a x y a l φφ∞==∈∑，那么取1()()k k k x a x φφ∞==∑即为所求的非线性嵌入映射。
由于核函数(,)K x y 的定义域是原来的输入空间，而不是高维的特征空间。
因此，巧妙地避开了计算高维内积(),())x y φφ（所需付出的计算代价。
实际计算中，我们只要选定一个(,)K x y ，并不去重构嵌入映射1()()k k k x a x φφ∞==∑。
所以寻找核函数(,)K x y （对称且非负）就是主要任务了。
满足以上条件的核函数很多，例如可以取为d-阶多项式：(,)(1)d K x y x y =+，其中y 为固定元素。
支持向量机算法的原理
支持向量机算法的原理支持向量机（Support Vector Machine，SVM）是一种广泛应用于分类和回归问题的机器学习算法。
它的原理基于统计学习理论中的结构风险最小化原则，通过寻找一个最优的超平面来实现数据的分类。
在SVM中，数据被看作是高维空间中的点，每个点都有一个与之对应的特征向量。
这些特征向量的维度取决于特征的数量。
SVM的目标是找到一个超平面，使得其能够尽可能地将不同类别的数据点分隔开。
超平面是一个d维空间中的d-1维子空间，其中d为特征向量的维度。
在二维空间中，超平面即为一条直线，可以完全将两类数据点分开。
在更高维的空间中，超平面可以是一个曲面或者是一个超平面的组合。
为了找到最优的超平面，SVM引入了支持向量的概念。
支持向量是离超平面最近的数据点，它们决定了超平面的位置和方向。
通过最大化支持向量到超平面的距离，SVM能够找到一个最优的超平面，使得分类误差最小化。
SVM的核心思想是将低维空间中的数据映射到高维空间中，使得原本线性不可分的数据变得线性可分。
这一映射是通过核函数实现的。
核函数能够计算两个数据点在高维空间中的内积，从而避免了显式地进行高维空间的计算。
常用的核函数有线性核、多项式核和高斯核等。
SVM的训练过程可以简化为一个凸优化问题。
通过最小化结构风险函数，SVM能够找到一个最优的超平面，使得分类误差最小化。
结构风险函数由经验风险项和正则化项组成。
经验风险项衡量了分类器在训练集上的错误率，正则化项则防止过拟合。
SVM的优点是具有较好的泛化性能和较强的鲁棒性。
由于最大化支持向量到超平面的距离，SVM对异常值不敏感，能够有效地处理噪声数据。
此外，SVM还可以通过引入松弛变量来处理非线性可分的问题。
然而，SVM也存在一些限制。
首先，SVM对于大规模数据集的训练时间较长，且对内存消耗较大。
其次，选择合适的核函数和参数是一个挑战性的问题，不同的核函数和参数可能会导致不同的分类结果。
支持向量回归机PPT课件
2020/2/11
min R(w) 1/ 2(w w) C l (v i i*)
s.t.((
w
xi
)
b)
yi
i 1
i*
yi
((w
xi
)
b)
III. 当 ai 0andai* 0 ，可知 ii* 0 ， i yi f (xi ) 0 或 i* yi f (xi ) 0 即 yi f (xi) ，对应 xi 为非支持向量，管道内的向量。
2020/2/11
16
支持向量回归机算法
2020/2/11
4
支持向量机与支持向量 回归机
SVM
H1 H H2
SVR
* 支持向量机是分类问题，寻求的 是一个最优超平面（函数g(x) ）将 两类样本点分的最开，最大间隔准 则（H1和H2之间间隔最大）是支 持向量机最佳准则。
* 支持向量回归机寻求的是一个线 性回归方程（函数y=g(x)）去拟合 所有的样本点，它寻求的最优超平 面不是将两类分得最开，而是使样 本点离超平面总方差最小。
构造线性硬 C SVR 超平面
18
支持向量回归机算法
V SVR
在硬 SVR ， C SVR 中，需要事先确定参数 ，在某些情况下，选择合 适的 是困难的，引入自动计算 的 V SVR，在 C SVR 原问题的基础上引
入参数 v，得 V SVR 原始问题：
常用的支持向量回归机算法包括 硬 SVR 、C SVR 、V SVR .
2020/2/11
11
支持向量回归机算法
一种改进的再生核支持向量机回归模型
一种改进的再生核支持向量机回归模型再生核支持向量机 (Relevance Vector Machine, RVM) 是一种非常有效的机器学习算法，常用于分类和回归任务。
相比于传统的支持向量机 (SVM) 模型，RVM 的优势在于它使用稀疏贝叶斯方法自动选择重要的支持向量，从而减少了运算时间和内存消耗。
在本文中，我们将介绍一种改进的 RVM 回归模型，主要包括以下方面：1.EM 算法的优化2.模型的正则化3.与传统 SVM 的对比4.实验结果以及分析EM 算法是一种迭代算法，用于在含有隐变量的概率模型中进行参数估计。
在 RVM 模型中，EM 算法用于计算每个特征的权重以及噪声的方差。
原始的 EM 算法在迭代过程中可能会陷入到局部最优解中，影响模型的精度和鲁棒性。
因此我们使用了一种改进的 EM 算法，即二阶有效牛顿优化方法，来解决这个问题。
这种优化方法可以加快算法的收敛速度，同时提高了算法的精度和稳定性。
RVM 模型是一种稀疏的贝叶斯模型，通过正则化方法可以增加模型的泛化性能。
我们引入了 L1 正则化方法，对每个特征的权重进行约束，实现了特征的自动选择。
同时，L2 正则化方法用于控制模型产生过拟合现象。
这些正则化方法可以有效地提高模型的鲁棒性和精度。
在我们的实验中，我们将改进的 RVM 和传统 SVM 进行了对比。
结果显示，改进的RVM 模型在多个数据集上均获得了更好的表现。
这是由于 RVM 模型使用了稀疏贝叶斯方法自动选择支持向量，在保证模型精度的同时减少了计算量和内存消耗。
我们在多个公开数据集上进行了实验，包括波士顿房价数据集、气象数据集等等。
结果显示，改进的 RVM 模型在这些数据集上均取得了更好的表现，并且与传统 SVM 模型相比，RVM 模型具有更好的稀疏性和泛化性能。
在具体实现中，我们使用了 Python 编程语言以及相关的机器学习库，如 Scikit-learn 等。
结论：在本文中，我们介绍了一种改进的再生核支持向量机回归模型。
支持向量机的概念
支持向量机的概念
支持向量机（Support Vector Machine，SVM）是一种常用的
机器学习算法，用于分类和回归问题。
它的核心思想是将样本映射到高维空间中，并在该空间中找到一个最优的超平面，以将不同类别的样本最大程度地分开。
具体来说，SVM在高维空间中寻找一个超平面，使得该超平
面与离它最近的各类样本的距离最大。
这些离超平面最近的样本点被称为支持向量，因为它们对于确定超平面起到了关键的作用。
通过这种方式，SVM能够有效地处理高维数据，并在
复杂的数据集中实现较好的分类效果。
SVM的基本原理可以理解为将原始的样本数据点映射到一个
高维特征空间，并通过最大化样本点与超平面之间的间隔来找到最优的超平面。
间隔表示了样本点与决策边界的距离，支持向量机的目标是找到使间隔最大化的超平面。
SVM的优点包括可以处理高维数据、对于样本点的位置不敏感、具有较好的泛化性能等。
它在分类问题上的应用非常广泛，并且在文本分类、图像识别、生物信息学等领域取得了很好的效果。
然而，SVM也存在一些缺点，例如对大规模数据集的
处理效率较低、需要选择合适的核函数等。
支持向量机的概念可以通过上述的描述理解，它是一种用于分类和回归问题的机器学习算法，通过在高维空间中寻找最优的超平面来实现分类任务。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
支持向量回归简介
人类通过学习，从已知的事实中分析、总结出规律，并且根据规律对未来的现象或无法观测的现象做出正确的预测和判断，即获得认知的推广能力。
在对智能机器的研究当中，人们也希望能够利用机器（计算机）来模拟人的良好学习能力，这就是机器学习问题。
基于数据的机器学习是现代智能技术中的重要方面，机器学习的目的是通过对已知数据的学习，找到数据内在的相互依赖关系，从而获得对未知数据的预测和判断能力，在过去的十几年里，人工神经网络以其强大的并行处理机制、任意函数的逼近能力，学习能力以及自组织和自适应能力等在模式识别、预测和决策等领域得到了广泛的应用。
但是神经网络受到网络结构复杂性和样本复杂性的影响较大，容易出现“过学习”或低泛化能力。
特别是神经网络学习算法缺乏定量的分析与完备的理论基础支持，没有在本质上推进学习过程本质的认识。
现有机器学习方法共同的重要理论基础之一是统计学。
传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。
但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
与传统统计学相比, 统计学习理论(Statistical Learning
Theory 或SLT ) 是一种专门研究小样本情况下机器学习规律的理
论Vladimir N. Vapnik 等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟[17] ，也由于神经网络等学习方法在理论上缺乏实质性进展, 统计学习理论开始受到越来越广泛的重视。
统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。
它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题）等；同时, 在这一理论基础上发展了一种新的通用学习方法—支持向量
机(Support Vector Machine 或SVM ) ，它已初步表现出很多优于已有方法的性能。
一些学者认为，SVM 正在成为继神经网络研究之后新的研究热点，并将有力地推动机器学习理论和技术的发展。
支持向量机（SVM ）是一种比较好的实现了结构风险最小化思想的方法。
它的机器学习策略是结构风险最小化原则为了最小化期望风险，应同时最小化经验风险和置信范围）
支持向量机方法的基本思想：
（ 1 ）它是专门针对有限样本情况的学习机器，实现的是结构风险最小化：在对给定的数据逼近的精度与逼近函数的复杂性之间寻求折衷，以期获得最好的推广能力；
（ 2 ）它最终解决的是一个凸二次规划问题，从理论上说，得到的将是全局最优解，解决了在神经网络方法中无法避免的局部极值问题；
（ 3 ）它将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性决策函数来实现原空间中的非线性决策函数，巧妙地解决了维数问题，并保证了有较好的推广能力，而且算法复杂度与样本维数无关。
目前，SVM 算法在模式识别、回归估计、概率密度函数估计等方面都有应用，且算法在效率与精度上已经超过传统的学习算法或与之不相上下。
对于经验风险R，可以采用不同的损失函数来描述，如e不敏感函数、Quadratic函数、Huber函数、Laplace函数等。
核函数一般有多项式核、高斯径向基核、指数径向基核、多隐层感知核、傅立叶级数核、样条核、 B 样条核等，虽然一些实验表明在分类中不同的核函数能够产生几乎同样的结果，但在回归中，不同的核函数往往对拟合结果有较大的影响
支持向量回归算法主要是通过升维后，在高维空间中构造线性决策函数来实现线性回归，用e不敏感函数时，其基础主要是 e不敏感函数和核函数算法。
若将拟合的数学模型表达多维空间的某一曲线，则根据e不敏感函数所得的结果，就是包括该曲线和训练点的“e管道”。
在所有样本点中，只有分布在“管壁”上的那一部分样本点决定管道的位置。
这一部分训练样本称为“支持向量”。
为适应训练样本集的非线性，传统的拟合方法通常是在线性方程后面加高阶项。
此法诚然有效，但由此增加的可调参数未免增加了过拟合的风险。
支持向量回归算法采用核函数解决这一矛盾。
用核函数代替线性方程中的线性项可以使原来的线性算法“非线性化”，即能做非线性回归。
与此同时，引进核函数达到了“升维”的目的，而增加的可调参数是过拟合依然能控制。