改进SVM及其在时间序列数据预测中的应用
时间序列预测方法综述
时间序列预测方法综述一、本文概述时间序列预测，作为数据分析与预测领域的重要分支，长期以来一直受到学者们的广泛关注。
时间序列数据，按照时间顺序排列的一系列数据点，广泛存在于金融、经济、气象、医学、工程等诸多领域。
对这些数据进行有效预测，对于决策制定、风险管理、趋势洞察等具有重要意义。
本文旨在对时间序列预测方法进行全面的综述，以期为读者提供清晰、系统的理论知识与实践指导。
文章将首先介绍时间序列预测的基本概念、研究意义和应用场景，为后续讨论奠定基础。
随后，将详细阐述时间序列数据的特性与分类，以及预测过程中常见的挑战与问题。
在此基础上，文章将重点综述各类时间序列预测方法，包括传统统计方法、机器学习方法和深度学习方法等，分析它们的原理、优缺点及适用范围。
还将关注这些方法的最新研究进展和发展趋势，以反映该领域的最新动态。
本文将总结时间序列预测的实践经验和应用案例，为读者提供实际操作的参考。
通过本文的综述，我们期望能够帮助读者更好地理解和应用时间序列预测方法，推动相关领域的理论与实践发展。
二、时间序列的基本概念与特性时间序列，是指按照时间顺序排列的一系列数据点，通常用于描述某种现象随时间变化的趋势和规律。
时间序列分析是统计学的一个重要分支，广泛应用于经济、金融、环境科学、医学、社会学等多个领域。
时间序列数据具有独特的特性，如趋势性、季节性、周期性、随机性等，这些特性对于时间序列的预测分析具有重要意义。
趋势性是指时间序列数据随时间呈现出的长期变化趋势。
这种趋势可以是线性的，也可以是非线性的。
例如，一个地区的人口数量可能会随着时间呈现线性增长趋势，而一个产品的销售额可能会呈现非线性增长趋势。
季节性是指时间序列数据在一年内或某一固定周期内重复出现的变化模式。
这种变化模式通常与季节变化有关，如夏季销售额上升、冬季销售额下降等。
季节性是时间序列数据的一个重要特性，对于预测和分析具有重要的指导作用。
周期性是指时间序列数据在固定周期内重复出现的变化模式。
基于机器学习的时间序列预测算法研究
基于机器学习的时间序列预测算法研究时间序列预测是通过分析和建模过去的数据来预测未来的数值，它在许多领域都有广泛的应用，如金融、气象、交通等。
而基于机器学习的时间序列预测算法由于其灵活性和高准确性而备受关注。
本文将介绍基于机器学习的时间序列预测算法的研究现状以及其常用的方法。
首先，我们来了解机器学习在时间序列预测中的应用。
传统的时间序列预测方法主要是基于统计学方法，如ARIMA、指数平滑等，这些方法对于稳定的、线性的时间序列具有良好的表现。
然而，当时间序列具有非线性、非稳定的性质时，这些方法的准确性会大打折扣。
机器学习通过充分挖掘时间序列的特点和内在规律，可以更好地适应复杂的时间序列数据，并提供更准确的预测结果。
基于机器学习的时间序列预测算法主要可以分为监督学习和无监督学习两类。
在监督学习中，我们需要准备有标签的训练数据集，然后根据这些数据集来训练模型。
常用的监督学习算法包括线性回归、支持向量机（SVM）、决策树、随机森林等。
这些算法可以通过学习历史数据的模式和趋势来预测未来的数值。
在无监督学习中，我们并不需要准备有标签的训练数据集，而是通过聚类和降维等技术来探索时间序列数据的结构和特点。
常用的无监督学习算法包括K-Means聚类、主成分分析（PCA）等。
除了监督学习和无监督学习，还有一类特殊的机器学习算法被广泛应用于时间序列预测中，即深度学习算法。
深度学习利用神经网络的层次化结构来学习和提取复杂的时间序列特征，并通过多层神经网络的组合来实现更高层次的抽象和预测。
其中，长短期记忆网络（LSTM）和卷积神经网络（CNN）是最常用的深度学习算法之一。
LSTM通过引入门控单元来解决传统循环神经网络中的梯度消失和梯度爆炸问题，可以有效地建模时间序列的长期依赖关系。
而CNN则能够通过卷积操作来捕捉数据的局部特征和模式。
除了介绍机器学习算法的分类，还有一些关键的问题需要考虑。
首先是特征选择，特征选择的好坏直接影响到模型的预测效果。
基于SVM和BP神经网络的预测模型
基于SVM和BP神经网络的预测模型随着社会的不断发展和技术的日益进步，各种预测模型的应用越来越广泛。
其中，基于支持向量机（SVM）和反向传播神经网络（BP神经网络）的预测模型备受关注。
它们不仅可以对数据进行分类和回归预测，还可以在信号、音频、图像等领域中得到广泛应用。
本文将介绍SVM和BP神经网络的基本原理及其在预测模型中的应用。
一、支持向量机（SVM）的基本原理支持向量机是一种基于统计学习理论的分类和回归分析方法。
它的基本原理是通过将原始样本空间映射到高维空间，将不可分的样本转化为可分的线性空间，从而实现分类或者回归分析。
SVM的关键是选择合适的核函数，可以将样本映射到任意高维空间，并通过最大化间隔来实现对样本的分类。
在SVM的分类中，最大间隔分类被称为硬间隔分类，是通过选择支持向量（即距离分类界线最近的样本）来实现的。
而在实际中，可能存在一些噪声和难以分类的样本，这时采用软间隔分类可以更好地适应于数据。
软间隔SVM将目标函数添加一个松弛变量，通过限制松弛变量和间隔来平衡分类精度和泛化能力。
二、反向传播神经网络（BP神经网络）的基本原理BP神经网络是一种典型的前馈型神经网络，具有非线性映射和逼近能力。
它可以用于分类、回归、时间序列预测、模式识别等问题，被广泛应用于各个领域。
BP神经网络由输入层、隐含层和输出层组成，其中隐含层是核心层，通过数学函数对其输入进行加工和处理，将处理的结果传递到输出层。
BP神经网络的训练过程就是通过调整网络的权值和阈值来减小训练误差的过程。
BP神经网络的训练过程可以分为前向传播和反向传播两部分。
前向传播是通过给定的输入，将输入信号经过网络传递到输出层，并计算输出误差。
反向传播是通过计算误差梯度，将误差传递回隐含层和输入层，并调整网络的权值和阈值。
三、SVM与BP神经网络在预测模型中的应用SVM和BP神经网络的预测模型在实际中广泛应用于各个领域，如无线通信、金融、物流、医疗等。
基于SVM多变量时间序列回归预测工程造价指数_杨玉胜
y i Ｒ ， x 〉+ b， 回归方程 f（ x ） =〈w ， 输入数据 x i Ｒ ， x Ｒ n， 〈w · x 〉 b Ｒn 为 偏 其中 w Ｒ n ， 为 内 积 运 算， 置。总而言之， 针对时间序列线性回归问题可以转 化为如下最优化问题： 1 min w 2 2 ＲT ： 〈w ·x〉+ b － y i ≤， i = 1， 2， 3， …， l 对于上式二次回归问题， 不方便求解， 通常求解 它的 lagrange 对 偶 问 题， 最终得到线性回归方 程 f（ x） = xj ) + b ， 其中 ∑ ( － ai ) K ( xi ， ( a* i － a i ) 为不等于零对应的样本数据就是支持向 K ( xi ， x j ) 为核函数， 量， 理论上， 常用的核函数有多
l i =1
n
n
a* i
Sigmoid 函数、 径向基核函数。 针对非线性回 项式、 ） 将样本的输入 x i 归， 首先使用一个非线性映射 φ （· 由输入空间 X 映射到一个高维特征空间 H， 并且在 H ， 高维度特 征 空 间 构造出线性支持向量回归机 （ SVM） ， 考虑到可能存在的误差， 本文引入两个松 * 即 ξi ， ξi ， 因此其最优化问题为： 弛变量， min 1 2 ω
+ ，i = 1 ， 2， 3， …， l y i －〈w ·x〉+ b≤ξ * i 2， 3， …， l ξi ， ξ* ≥1 ， i 通过上述分析， 从而得到原问题的 lagrange 对 偶问题为：
ai ， a l
min*
i
1 2
∑
l i =1
∑ ( ai
j =1
l
－ a* i
时间序列预测的方法与分析
时间序列预测的方法与分析时间序列预测是一种用于分析和预测时间相关数据的方法。
它通过分析过去的时间序列数据，来预测未来的数据趋势。
时间序列预测方法可以分为传统统计方法和机器学习方法。
下面将分别介绍这两种方法以及它们的分析步骤。
1. 传统统计方法传统统计方法主要基于时间序列数据的统计特征和模型假设进行分析和预测。
常用的传统统计方法包括移动平均法、指数平滑法和ARIMA模型。
(1) 移动平均法：移动平均法通过计算不同时间段内的平均值来预测未来的趋势。
该方法适用于数据变动缓慢、无明显趋势和周期性的情况。
(2) 指数平滑法：指数平滑法通过对历史数据进行加权平均，使得近期数据具有更大的权重，从而降低对过时数据的影响。
该方法适用于数据变动较快、有明显趋势和周期性的情况。
(3) ARIMA模型：ARIMA模型是一种常用的时间序列预测模型，它结合了自回归(AR)、差分(I)和滑动平均(MA)的概念。
ARIMA模型可以用于处理非平稳时间序列数据，将其转化为平稳序列数据，并通过建立ARIMA模型来预测未来趋势。
2. 机器学习方法机器学习方法通过训练模型来学习时间序列数据的特征和规律，并根据学习结果进行预测。
常用的机器学习方法包括回归分析、支持向量机(SVM)和神经网络。
(1) 回归分析：回归分析通过拟合历史数据，找到数据之间的相关性，并建立回归模型进行预测。
常用的回归算法包括线性回归、多项式回归和岭回归等。
(2) 支持向量机(SVM)：SVM是一种常用的非线性回归方法，它通过将数据映射到高维空间，找到最佳分割平面来进行预测。
SVM可以处理非线性时间序列数据，并具有较好的泛化能力。
(3) 神经网络：神经网络是一种模仿人脑神经元组织结构和工作原理的计算模型，它通过训练大量的样本数据，学习到数据的非线性特征，并进行预测。
常用的神经网络包括前馈神经网络、循环神经网络和长短期记忆网络等。
对于时间序列预测分析，首先需要收集并整理时间序列数据，包括数据的观测时间点和对应的数值。
基于SVM的股票时间序列的预测研究
Ｓ 的核心 思想 在 于使 分类 间 隔最 大实 际 上 就 ＶＭ 是 对概 化 能力 的 控 制 ， 是 说 ， 仅 能 将 两 类 分 开 ， 就 不 而 且使 分类 间隔最 大两 类 线性 可 分 的支 持 向量 机 问
题 是一 个 二 次 规 划 问题 ， 以 转 化 为 优 化 问题 。 同 可 时 ， 济系 统最 重要 的特点 就是 非 线 性 ， 持 向量机 经 支 能 够应 用在 经 济领 域 的最关 键 的一个 问题 在 于 能 够 处 理 非 线 性 问 题 ， 以通 过 非 线 性 变 换 转 化 为某 个 可
的理 论基 础和诸 多 良好 特性 在 近年 获得 了广 泛 的关 注 。 目前 已经 有 许 多 事 实 证 明 ， 持 向量 机 最 基本 支
看 做 是 一个 随 机 的 时 间序 列 ， 多 随 机 因 素都 能 够 很 或 多 或 少 地对 股票 价 格 产 生 或 大 或小 的影 响 ， 因此 股 票 的价格 就表 现 出 了复杂 的 非线 性 、 确 定性 ， 不 利 用 传 统 的 时 间 序 列 预 测 技 术 很 难 揭 示 其 内在 的
第２ ７卷 第 ７期
２ １ 年 ７月 ０１
吉 林 工 程 技 术 师 范 学 院 学 报
Ｊｕ ｎ ｌｏ ｉｉ ｅ ｃ ｅｓＩｓｉ ｔ ｆＥ ｇｎ ｅｉｇａ ｄ Ｔ ｃ ｎ ｌｇ ｏ ｒａ ｆＪｌ Ｔ ａ ｈ ｒ ｎｔ ｕｅｏ ｎ ｉｅ ｒｎ ｎ ｅｈ ｏｏｙ ｎ ｔ
Ｖｏ ． ７ Ｎｏ ７ １２ ．
使 用 Ｓ Ｍ 算法 进 行股 价 预测 的准 确 比例 ， 而获 得 Ｖ 从
一
个相 对 可靠 的数 据 。
（ ） 测 结果 三 预
经过 ３ Ｏ组 的检 验 ， １ 预 测正 确 ， 有 ９条 正确 率 达 到 ６ ．％ 。因为 时效 性 ， 预测 只能 对 与 训 练 样 本 ３３ 即 时 间间 隔 较 小 的 时 间进 行 预 测 ， 因此 预 测 样 本 不 可
Oracle中使用支持向量机的时间序列预测方法
Oracle中使用支持向量机的时间序列预测方法吴湘宁;胡炫;胡光道;胡成玉;李桂玲【摘要】利用Oracle数据库中的数据挖掘选件（Oracle Data Mining，ODM），并使用存储在Oracle数据库中的时间序列数据，可构建预测时间序列未来值的支持向量机（Support Vector Machines，SVM）模型。
建模时，需去除时间序列中的趋势，将目标属性标准化，确定包含延迟变量窗口的尺寸，利用机器学习方法，由时间序列历史数据得出SVM预测模型。
与传统时间序列预测模型相比，SVM预测模型能够揭示时间序列的非线性、非平稳性和随机性，从而得到较高的预测精度。
%Using Oracle Data Mining option(ODM)and the time series data stored in oracle database, the SVM(Support Vector Machines)model which is used to predict the future value of the time series can be constructed. To build SVM model, the trend in time series must be removed, and the target attribute should be normalized. The size of the time window in which including all the lag values should be determined, then the machine learning method can be used to construct a SVM prediction model according to the time series data. Comparing with the traditional time series prediction model, SVM prediction models can reveal non-linear,non-stationary and randomness of the time series, and have higher prediction accuracy.【期刊名称】《计算机工程与应用》【年(卷),期】2013(000)014【总页数】5页(P121-125)【关键词】Oracle;时间序列;支持向量机;预测模型【作者】吴湘宁;胡炫;胡光道;胡成玉;李桂玲【作者单位】中国地质大学计算机学院，武汉430074;中国地质大学计算机学院，武汉 430074;中国地质大学资源学院，武汉 430074;中国地质大学计算机学院，武汉 430074;中国地质大学计算机学院，武汉 430074【正文语种】中文【中图分类】TP311.1381 引言时间序列，是指按时间先后顺序排列的数列。
一种改进的SVM增量学习算法研究
一种改进的SVM增量学习算法研究作者：黄建校邵曦来源：《无线互联科技》2017年第03期摘要：通过对训练样本集的几何特征和机器学习迭代过程中支持向量的变化情况分析，文章提出一种改进的基于KKT条件和壳向量的SVM增量学习算法。
算法使用包含原支持向量集的小规模扩展集——壳向量，将其作为新一轮迭代的初始训练样本集。
同时，基于样本是否违背KKT6件的错误驱动策略，对新增的大量样本进行筛选，以此得到更加精简有效的新增样本集。
实验结果表明，与传统的增量学习算法相比，改进的算法在模型训练的收敛速度和对未知样本集的分类准确度方面都有明显的提高。
关键词：SVM；壳向量；KKT条件；增量学习1.SVM算法研究背景随着互联网时代和多媒体信息技术的飞速发展，大量的网络资源也随之产生，其中也包括受众面非常广泛的数字音乐。
面对数量庞大和风格多样的数字音乐，一个非常重要的需求是准确而快速地查询出符合用户喜好的音乐。
为此，人们需要设计一个高效快速的音乐分类系统。
针对音乐分类，许多研究者已经提出了各自的方法，大体可以分为3类：一是在音乐特征提取的选择和特征向量的维度上作改进；二是在分类算法的选择上作改进；三是在多分类问题的解决方法上作改进。
其中，研究最多的是对分类算法的改进。
而在这些研究当中，应用最为广泛的技术就是支持向量机（Support Vector Machine，SVM）。
虽然经典的SVM算法应用广泛，但其依然存在一定的局限性。
由于SVM是一种监督式的学习算法，它不具备增量学习的能力，只能使用少量给定的己标注的样本作为训练样本进行训练，以此来得到分类模型。
然而，在现实应用中，数字音乐的数据量通常呈现出在线式增长的特点，对这样级别数据量的音乐样本进行类别标注，无论是在人力上还是在时间成本上，都是不现实的。
因此寻找更高效率的svM增量学习算法，筛选可以涵盖大量未标注样本所含信息量的代表性样本进行标注来改善分类模型的训练速度和分类精度，具有十分重要的意义。
应用支持向量机模型(SVM)研究电网物资需求预测问题
、
引言
Ｅ Ｒ Ｐ 系 统 中 的 全 部物 资 需 用 数 据 记 录 ， 共 约 ４ ２ 万条 ，包括２ ２ ４ 种 物资小 类，涵盖１ ０ 干 伏 以上 级 输 变 电项 目、技 改项 目和 配 网项 目。按 照 项 目个 体对 原始数据进行整理和 分析，采 用数据 完整 、项 目代表性强 的数据样
电网建 设 项 目所 需的物 资 是 电网企 业物 资 需求 的主 体 ，其 需求 量 的合理 预测 ，对于加 强物 资计划和采购 ，提 高物资 计划 及 时性、准 确 性 ，节 约 物 资 成 本 具 有 重 要 意 义 。 以 往 由于 物 资 需 求 预 测 所 需 支 持 数 据 缺 乏 ， 预 测 结 果 往 往 不 佳 ，使 用 效 果 也 不 理 想 。 国家 电 网公 司 的 企 业资源 计 划 （ Ｅ Ｒ Ｐ ）系统 已于 ２ ０ １ Ｏ 年全 面上线 运行 ，为 电网建 设物 资的需求 预测提 供了一 个难得 的数据平 台 ，能够 为物 资需求预测 提供 初 步 的 数 据 支 撑 。 使 得 利 用 系 统 数 据 资 源 ， 依 据 工 程 建 设 里 程 碑 计 划 中 的 基 本 工 程 指 标 如 电压 等 级 、线 路 长 度 、 变 电 容 量 等 ， 构 建 合 理 有 效 的模型 ，进行物 资需求 预澳 ０ 成为 可能 。
支 持 向量 机 （ ｓ ｕ ｐ ｐ ｏ ｒ ｔ ｖ ｅ ｃ ｔ ｏ ｒ ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ， Ｓ Ｖ Ｍ ） 是 由Ｖ ａ ｐ ｎ ｉ ｋ 提 出
ｒ 一 ■ 一 一 氍
一 、 ～ ． 曩 ． 、 ＿ ｌ ｛
图 １ 控 制 电 缆 预 测 值 与 真 实 值 的 比 较 图
况 等 ）复 杂 多 变 ，所 需物 资 的种 类 繁 多 ，物 资 需求 呈 现 明显 的 随 机 性 和 非 线 性特 征 ，对 于 依 据 若 干 工 程技 术指 标 对 工 程 项 目的物 资 需 求进 行 预 测 ，结 果 的不 确 定 性 明 显 ， 预测 难 度 较 大 。 然 而支 持 向 量机 模 型 能够 在 此 类 预 测 问题 中 表现 出较 强 的 优 势 。 现 有利 研 究 有 ：鲍 永胜 和 吴 振 升 应用 支 持 向量 机 对 短 期 风 速 进 行 了预 测 计 算 …， 沈梁 玉 和 于 欣 针 对 夏 季 电 力 负 荷 采 用 支 持 向 量 机 进 行 了 预 测 分 析 ］ ，祝 金荣 ，何 永秀 ５ ￣Ｆ ｕ ｒ ｏ ｎ ｇ Ｌ ｉ 结合 混沌 理 论 和支 持 向量 机提 出了 一个 新 的 电价 预测 模 型 ＿ ３ ］ 。从 研 究结 果 看 ，面 对 毫 无 规 律 性 的风 速 预 测 、 复杂 的夏 季 电力 负 荷 以及 多 因素 影 响和 制 约 的 电价 ， 支持 向 量机 能够 取 得 较 好 的预 测 结 果 ， 那 么可 以期 望 该 预 测 方 法 也 能在 电 网建 设项 目的物 资 需求 预测 问题 中取得 较 好 的收 效和 预 期 。
SVM改进算法的研究现状与趋势-...
SVM改进算法的研究现状与趋势-...[原创新思] SVM改进算法的研究现状与趋势改进算法, 现状, 趋势, 支持向量机赵勇. SVM改进算法的研究现状与趋势. 人工智能研讨论坛, SVM 版.由于SVM有着良好的统计学习理论基础，优良的泛化能力，在模式识别（人脸识别、文本识别、手写体识别等）、函数拟合、建模和控制领域得到了应用，取得了良好的评价。
但同时，在目前SVM的应用中还存在一些问题，如对不同的应用问题核函数参数的选择比较困难，对较复杂问题其分类精度不是很高，以及对大规模分类问题训练时间长等。
由此，促生了对SVM算法进行改进的研究热潮，并在从中孕育出了许多具有实用价值的优良改进算法。
目前针对SVM应用中出现的问题，主要针对SVM的一些不足之处进行如下方面的改进和完善：1. 对学习训练速度的改进：SVM的训练速度与支持向量的数量有关，支持向量个数越大，训练的计算量就越大，识别的计算量也同样很大。
于是，就需要提高SVM 的计算速度，以便于处理大规模问题。
因此，降低支持向量数目、简化支持向量成为一项非常有意义的工作。
在国外，Burges[8]通过在给定精度损失下生成支持向量缩减集合的方式得到简化支持向量机，它的计算量很大且在简化的同时牺牲了识别精度。
Lee 等[9]提出RSVM (Reduced Support Vector Machine)，Lin 等[10]对这种方法作了进一步的研究，该方法人为地将支持向量限制在一个训练样本子集中,它只有在训练样本很多且支持向量所占比例极高的情况下能减少支持向量，在一般情况下支持向量个数反而可能会增加。
Scholkopf 等人[11, 12]提出了所谓的υ-SVM,证明了参数υ与支持向量数目及误差之间的关系，但这种方法在参数υ过小时将降低机器泛化能力。
在国内，刘向东和陈兆乾[13]提出了一种快速支持向量机分类算法FCSVM，实验表明在几乎不损失识别精度的情况下识别速度有不同程度的提高。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图 1 DCW SVMR 算法模型
Fig . 1 Model of DCW SVMR algorithm
2 DCW SVMR 模型及其算法
2. 1 DCW SVMR 模型
根据定义 1, 支持向量集描述了整个训练集的 特点 ,而且在绝大多数情况下 ,训练集中的支持向量 数目 N sv只占训练集数目 N train很少一部分 ,即 N sv << N train ,因此可以使用支持向量集取代训练集进行函 数逼近学习 ,使得在不影响逼近精度的情况下极大 地减少了训练时间和内存开销 . 在式 ( 4 )中对超出 ε管道的样本实行相同的惩
收稿日期 : 2004 - 06 - 28 3 基金项目 : 国家自然科学基金资助项目 ( 10371135 ) 作者简介 : 奉国和 (1971 - ) ,男 ,博士生 ,主要从事人工智 能、 机器学习方面的研究 . E 2 mail: mousefeng@163. net
大时则需要很大的内存 ,如样本数目超过 4 000 时 , [ 3, 4 ] 存储核函数矩阵需要多达 128MB 内存 , 这样在 大样本情况下是不可能将整个矩阵同时保存在内存 中的 ,增加了虚拟内存页替换的频率 , SVM 优化开 销主要是矩阵的计算 . 因此如何减少训练时间和内 存则成为 SVM 研究的一个新问题 . 近年来已有一些方法用于解决大样本支持向量 [5] 机问题 ,如 Boser和 Vapnik提出的分块算法 , O su2
3 α αi ( yi - ε) - α3 ε) ] j ) k ( xi , xj ) + 6 [ i ( yi +
i =1 n
( 3)
( 8)
其约束条件为
下求 Φ (ω,ξ) = 1 ‖ ω ‖2 + C 2
6
i
(ξ +ξ )
+ i
i
( 4)
6
n
(αi - αi ) = 0, 0 ≤αi ,αi ≤ C si.
图中训练样本集 G = { ( xi , yi ) } i = 1 , 其中 xi ∈R ( d 为空间维数 ) , yi ∈R; G1 , G2 , …, Gm 为训练子集 , 且 G1 ∪ G2 ∪ … ∪ Gm = G, Gi ∩ Gj = < , i ≠ j ; SVG1 , SVG2 , …, SVGm 为在各个 Gi 上产生的支持向量集 , 其元素个数分别为 L1 , L2 , …, Lm , 再将 L1 + L2 + … + Lm 个数据顺次并成一个新的训练集 Gnew . 在新的训 练集上进行加权支持向量回归 , 得到所需要的预测 模型 . 算法的具体实现如下 : ( 1 ) 分解数据集合 G 为 m 个工作子集 G1 , G2 , …, Gm ; ( 2 ) 对每一个工作子 集 Gi 进行支持向量机回归 , 选出支持向量集 SVGi ;
1, 那么根据不等式
2 2
6
m
lri
2
< lm +
2
i =1
m - 1 2 ( r < 0. 7 ) 成立 , 所以 l m + < m
2
< l m 成立 , 即分解合作加权支持向量机的
1 回归支持向量机
基于统计学习理论的支持向量机给出了实际风 险的上限 ,并利用核函数将线性不可分转化为特征 空间线性可分 ,最后化为求解一个线性约束的凸二
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.
20
华 南 理 工 大 学 学 报 (自 然 科 学 版 )
第 33 卷
次规划求解问题 . n d 给定训练集 G = { ( xi , yi ) } i = 1 , 其中 xi ∈R ( d 为 空间维数 ) , yi ∈R, 确定一个基于训练集 G的函数 ω ・< ( x ) 〉+ b ( 1) f ( x) = 〈 来逼近未知的实际函数 g ( x ) . 式中 :〈 ・〉 表示在高维 Ω , b∈R. 考虑误差 , 引 特征空间 Ω 中的内积 , < : x → + 入松弛变量 ξ i ≥0,ξ i ≥0, 同时给定损失函数
[8 ]
3
3
i =1
最小值 , 其中 C 为常数 . 引入拉格朗日乘子构造拉 [ 1, 2 ] 格朗日泛函 , 得到原问题的对偶问题 : n n 1 3 α,α3 ) = max max W( 6 (αi - αi ) (αj α,α3 α,α3 2 6 i =1 j =1
3 αj ) k ( xi , xj ) +
n
d
© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.
第 5期
奉国和 等 : 改进 SVM 及其在时间序列数据预测中的应用
21
2
( 3 ) 集合每个工作子集的支持向量集得到 Gnew ; ( 4 )
na等提出的分解算法基本框架
[ 6, 7 ]
, Joachim s 在上
述分解算法的基础上做了几点重要改进 , Platt在分 [ 3, 4 ] 解算法基础上提出了贯序最小化算法 ( S MO ) . 但这些算法为了寻找最优化解需要反复地迭代 , 会 出现收敛速度较慢的情况 . 本文提出了一种分解合作加权回归支持向量机 (DCW SVMR ) ,首先将训练样本分解成几个工作子 集 ,分别在每个工作子集上训练 SVM 以找出该子集 中的支持向量 ,然后将这些支持向量汇合构成一个 训练样本集 ,在不同的数据点给出不同的加权训练 , 用得到的函数来做预测 . 实验结果表明 ,本文算法的 训练速度和训练精度都比标准支持向量机的好 , 特 别是训练速度的提高非常明显 .
所要求的回归方程为 ω ・< ( x ) 〉+ b = f ( x ) =〈
6
n
(αi
3
-
i =1
αi ) k ( xi , x ) + b3 ( 6) 式中 : k ( xi , x ) =〈 < ( xi ) ・ < ( x ) 〉 是满足 M ercer条 件 的核函数 . 文中我们采用 RBF 核函数 : k ( x, y ) = - 2 2 exp (σ ( x - y ) ) ,σ为 RB F核的宽度 . 由于求解最 后化为一个线性约束的凸 QP 问题 , 所以解具有全 局最优性和惟一性 . 3 定义 1 式 ( 6 )中 αi - αi ≠0 所对应的 xi 称为 支持向量 .
第 33 卷 第 5 期 2005 年 5 月
华 南 理 工 大 学 学 报 (自 然 科 学 版 ) Journal of South China university of Technology (Natural Science Edition )
Vol . 33 No. 5 M ay 2005
6
n
αi ( yi - ε) - αi ( yi +ε) ] [
( 5)
3
i =1
文中采用指数加权 , 即 si = 1 [ 1 + exp ( a 2 a i / n ) ] ( i = 1, 2, …, n; a 为控制上升速率的参数 ) . 通过前面分析我们提出了一个基于标准支持向 量机的改进算法 — — — 分解合作加权支持向量机 , 该 算法模型分两步 : ( 1 ) 分段提炼出支持向量机 ; ( 2 ) 根据支持向量的重要性给出不同的错误惩罚度 , 即 进行加权支持向量回归 , 产生决策函数 . 具体见图 1.
时间序列数据具有躁声 、 不稳定 、 随机性等特 点 ,对于这类数据的预测方法目前主要有自动回归 滑动平均 (ARMA ) 和神经网络等 . 但这些方法有一 些缺点是很难克服的 , ARMA 包含的是线性行为 ,对 于非线性的因素没有包含 ; 而神经网络的结构需要 事先指定或应用启发式算法在训练过程中修正 ; 同 时神经网络得到的解是局部最优而非全局最优 . 这 些不足极大地限制了这些方法在实际中的应用 . 而 支持向量机 ( SVM ) 则很好地解决了上述的一些问 题 ,并在实际应用中取得了很好的性能 . [1] 基于统计学习理论 ( SLT) 的回归支持向量机 最后化为一个线性约束的凸二次规划优化 (QP ) 求 [2] 解问题 . 当训练样本数为 n 时 , 该二次规划问题 包含了 2 n 个优化变量 、 1 个等式约束和 4 n 个线性 不等式约束 , 同时还涉及到 n × n 维核函数矩阵的计 算和矩阵与向量相乘的计算 , 所以求解的规模与样 本数量有关 . 由于最初 SVM 的提出是针对小样本情 况的 ,但实际问题中也经常出现大样本的情况 ,此时 支持向量的训练速度会很慢 , 从而训练时间与计算 内存是训练大样本 SVM 时所遇到的一个主要瓶颈 . 其原因主要是 SVM 算法需要计算和存储核函数矩 阵 ,该矩阵的大小与样本数量密切相关 ,当样本数量
Lε ( f ( x ) - y ) =max 0, f ( x) - y
-ε
( 2)
问题化为在约束条件 + ω ・< ( xi ) 〉- b≤ ε +ξ yi -〈 i
ω ・< ( xi ) 〉+ b - yi ≤ ε +ξ 〈 i + ξ i ≥0 ξ i ≥0
罚 C, 但在一些应用如股市预测等时间序列数据预 测中 , 近期数据的重要性要大于远期数据的重要性 , 重要数据点要求比较小的误差 , 这样在上述优化问 题中 , 可以采取不同的惩罚因子 C, 以得到更准确的 回归估计 . 我们将式 ( 4 ) 改写为 + Φ (ω,ξ) = 1 ‖ ω ‖2 + C 6 si (ξ ( 7) +ξ i i ) 2 i si 为加权系数 , 式 ( 7 ) 的约束条件与式 ( 3 ) 相同 , 得 到对偶最优化问题 n n 1 3 3 ( α α ) m ax W , = m ax 6 (αi - αi ) (αj α,α3 α,α3 2 6 i =1 j =1