支持向量机在地下水位预报中的应用研究

支持向量机在地下水位预报中的应用研究

王景雷1，吴景社1，孙景生1，齐学斌1

(1.水利部农田灌溉研究所，河南新乡 453003)

摘要：针对地下水系统结构不甚清晰、基础资料不完备条件下区域地下水位预报问题，在介绍支持向量机基本原理和实现算法的基础上，探讨了支持向量机方法在区域地下水位预报中的应用，经过与人工神经网络方法预报结果比较，表明该方法具有速度快、泛化能力强的特点，可很好地克服神经网络的过学习问题。

关键词：支持向量机；地下水位；预报

中图分类号：P641 文献标识码：A

支持向量机（Support Vector Machine）是Vapnik等人根据统计学理论提出的一种新的通用学习方法，它是建立在统计学理论的VC维（Vapnik Chervonenks Dimension）理论和结构风险最小原理(Structural Risk Minimization Inductive Principle）基础上的，能较好地解决小样本、非线性、高维数和局部极小点等实际问题[1～3]，已成为机器学习界的研究热点之一，并成功的应用于分类、函数逼近和时间序列预测等方面[4～7]，而区域地下水位的预报问题也可以看作是一种对地下水位及其影响因子间的复杂的非线性函数关系的逼近问题[8～9]，基于上述考虑，本文尝试将支持向量机理论引入地下水位预报之中。

1 支持向量机的基本原理[1]

支持向量机是从线性可分情况下的最优分类面发展而来的，也是统计学习理论中最实用的部分，其基本思想可用图1的两维情况说明。图中，实心点和空心点代表两类样本，H为分类超平面，H1，H2分别为过各类中离分类超平面最近的样本且平行于分类超平面的平面，它们之间的距离叫做分类间隔（margin）。所谓最优分类面就是要求分类面不但能将两类正确分开（训练错误率为0），而且使分类间隔最大。距离最优分类超平面最近的向量称为支持向量。

图1 线性可分情况下的最优分类

面

设样本为n维向量，某区域的k个样本及其所属类别表示为

(x

1,y

1

),…,(x

k

,y

k

)∈R

n

×{±1}(1)

超平面H表示为

w·x+b=0(2)

显然，式(2)中w和b乘以系数后仍满足方程。不失一般性，设对所有样本x i满足下列不等式：

w·x

i +b≥1若y

i

=1

w·x

i +b≤-1 若y

i

=-1

可将上述不等式的规范形式合并为如下紧凑型式：

y i (w·x

i

+b)≥1i=1,…k..(3)

点x到超平面H的距离为：

(4)

根据最优分类超平面的定义，则分类间隔可表示为：

(5)

要使分类间隔最大，就是使2/‖w‖最大。因此构造最优分类超平面的问题可转化为在满足式(3)条件下最小化

(6)

的问题。另外，考虑到可能存在一些样本不能被超平面正确分类，因此引入松驰变量

ξi≥0,i=1,…k(7)

显然，当分类出现错误时，ξi 大于零，是分类错误数量的一个上界，为此引入错误惩罚分量，因此构造广义最优分类超平面问题就转化为在约束条件

y i (w·x

i

+b)≥1-ξ

i

, i=1,…k..(8)

下最小化函数

(9)

的问题。

上式中C为一正常数，C越大，对错误的惩罚越重。其中第1项是样本到超平面的距离尽量大，从而提高泛化能力；第2项使误差尽量小。

2 支持向量机的回归算法及其实现[10～13]

首先考虑线性回归。设样本为n维向量，某区域的k个样本及其值表示为：

(x

1,y

1

),…,(x

k

,y

k

)∈R

n

×R(10)

线性函数设为

f(x)=w·x+b(11) 并假设所有训练数据都可以在精度ε下无误差地用线性函数拟合，即：

(12) 考虑到允许拟合误差的情况，引入松弛因子ξi≥0和ξi≥0，则式(12)变成

(13)

与最优分类超平面中最大化分类间隔相似，回归估计问题转化为在约束条件(13)下最小化函数

(14)

问题。式(14)中第1项是使回归函数更为平坦，从而提高泛化能力，第2项则为减少误差，常数C>0控制对超出误差ε的样本的惩罚程度。ε为一正常数，f(x i)与y i的差别小于ε时不计入误差，大于ε时误差计为|f(x i)-y i|-ε。

函数(14)的最小化是一下凸二次优化问题，引入拉格朗日函数

(15) 其中：αi,αi*≥0,γi,γi*≥0,i=1,…,k。

式(14)的最优解为函数(15)的鞍点，在鞍点处，函数L是关于w,b,ξi,ξi*的极小点，是αi,αi*,γi,γi*极大点，式(15)的最小化问题转化为求其对偶问题的最大化问题。其对偶问题可用下式表示[14]：

(16)

拉格朗日函数L在鞍点处是关于w,b,ξi,ξi*极小点，故可得到：

(17)

将式(17)代入式(15)，可得拉格朗日函数的对偶函数

(18)

拉格朗日函数优化问题转化为在约束

(19) 下最大化式(18)问题。

对于非线性回归，首先使用一非线性映射把数据映射到一个高维特征空间，再在高维特征空间进行线性回归，从而取得在原空间非线性回归的效果。