SVM核函数对分类精度影响的研究

为 ， 测试样本不变时 ， ｌ ， 随着 ｑ 值变化 即多项式次数 的变化 ， 同一样本分类精度有 明显下降趋势． 因此 在多项式核函数分类中， 并不是多项式次数越高分
第 ４期
刘 大宁 ， ：Ｖ 核 函数 对分类 精度 影响 的研 究 等 ＳＭ 对 比实 验数 据如 下表 ．
表 ４组 合核 函数 １
２ ， 定 它们 的类 别 为 正 类 ｔ ＝ ０１ （０ １ ； ）给 ｙ １８５ ，）如２ ￣
＝４＋ ａ ｄ （ ２ ， ｒｎｎ ，） 给定他们 的类别 为负类 ＝一
ｏ ｅ（０ １． ｎｓ５ ，） 这样 选用 的样 本 点在每 次 实验 中当样 （ｆ （， ）・ ）＞取代（ ） ３ 式中的 ， ． 不变时 ， 随机产生 的数据保持不变 ， ｎ 当 改 根据 Ｈ ｂｒ —Ｓｈ ｉ 原理 ， ｉ ｔ ｃｍ ｄ ｅ ｔ 只要一种运算满 本量 ｎ 训练样本数据仍然保持和 ／ ７ ， 变化之前数据的 足 Ｍ ｒｅ 条件就可 以作为 内积使用 ． ｅｃｒ 】常用于分 变时， 相关 性． １为 核 函数 为 线 性 时 ， 练样 本 点 为 ／ 图 训 １ ， 类 的核 函数 有 以下 四种 ： ａ ）线 性核 函数 ， ／（ ， ） ＝ 即 Ｃｘ 可 分的 Ｓ ＶＭ分类 器 ； ； 应线 性 对
６９ ２
类 效果 越好 ． 于该 实验 数 据 当我们 选 取样 本量 为 对 １０ 多 项式 次 数 为 ２的 核 函数 时 ， 可 以达 到 ０ ０， 就 ． ９０ ７０的分类 精 度． 表 ２ 不 同样 本 下高 斯核 函数 不 同参 数分 类精 度
（ 高斯 核 函数 （ ＝ １ 与 线性核 函数 ） ）
Ｉ Ｉ ＿ ．２
量为 １０ 线性核 函数分类所获取的分类模型图． ０，
二
｝ ， 对应 Ｓ Ｍ是一种径向基函数分类器； Ｖ
ｄＳ ） 形核函数 ， Ｋ ， 如 （ ）＝ｔ ｈ ｖｘｘ）＋ ａ （（ ｒｉ ｎ
Ｃ ， Ｓ Ｍ实现的就是一个两层 的感知器神经 网 ）则 Ｖ 络， 对应 Ｓ Ｍ是 ｓ ｍ ｉ Ｖ ｉ ｏｄ函数分类器 ． ｇ 】 根据 Ｍ ｒ ｒ ｅ ｅ 条件 ， ｃ 核函数的性质有封闭性 、 对 称性、 复合性 ． 于是 除 了常用 的四种 函数 外 ， 可 以 也 线 性构 造新 的核 函数 ：
ｉ＝ｌ
Ⅱ ｍ ｎ 虿 似Ｉ ｎ ｉ Ｉ ｌ Ｉ ｆ Ｉ
① 收 稿 日期 ：０２— ６－ ８ ２１ ０ቤተ መጻሕፍቲ ባይዱ０
Ｌ （） １
（） ５
基金项 目： 数学地质四川省重点实验室 开放基金 （ Ｃ Ｘ Ｚ０ ９ １ ） Ｓ Ｓ Ｄ ２ ００ ９ ． 作者 简介 ： 刘大 宁（ ９ ６ ， ， １ ８ 一） 女 湖北荆 门人 ， 硕士 ， 研究方向为 ＧＳ 间分析 与软件开发 ． Ｉ空
Ｊ ｌ ｕｙ
２ １ ０２
文章编号 ： ｏ １ｏ （０ ２ ０ — ６ ７ ０ １ ８— ４ ２ ２ １ ）４ ０ ２ — ４ ０
Ｓ Ｍ 核 函数 对 分 类 精 度 影 响 的 研 究 ① Ｖ
刘大 宁 ， 杨永乐 ， 白 林
（ 成都理工大学管理科学学院 。 四川 成都 ６０５ ） １０９
Ｋ ‘ ， （ ， ）＝ Ｋ （ ，， １ ）＋磊 ‘ ， ２（ ， ） ｇ（ｆ ｆ ＝ａ （ ， （ ＞０ ｘ， ） Ｋ１ 巧） ａ ） （） ６ （） ７
图 １ 样 本容量为 １ ０ 线性核函数分类 ０，
于是本文实验使用 如下的组合核 函数 （ 中核 函 其 数 系数 为正 ） ：
关键词： Ｓ Ｍ； 函数参数 ； ｅ ｅ 条件 ； Ｖ 核 Ｍｒ ｒ ｃ 分类精度 中图分 类 号 ： Ｔ ３ １４ Ｐ ９ ． 文 献标 识码 ： Ａ ｓｂ ｃ ｔ ｉ（， ＋ｂ ］一１ ，ｉ ，， ， ｕ ｅ Ｙ［ ｔ ｊ ｔｏ ｔ ｉ ） ≥０ （ ＝１２ …，） １
定义 Ｌ ｇａｇ ａｒｎｅ函数 ：
１ Ｓ Ｍ 分 类 原 理 Ｖ
Ｓ Ｍ是从线性可分情况下 的最 优分类面发展 Ｖ 而来 的， 最优分类面问题可以表示成如下的约束优 化 问题 ：
约束条件求解 ， 由此求得的最优分类 函数是 （ 其中
ｓｎ ） ｇ （ 为符号函数 ） ：
） ｓ （ ’ ６） ｓ （ ｉ ｂ） ＝ｇ （ ） ’ ＝ｇ ∑ａｙｉ＋’ ｎ ＋ ｎ ＊ ．
原约束条件可以把原问题转化为如下 凸二次规划
的对 偶 问题 ：
ｍｘ 一 ａ∑ ÷∑∑
Ｉ １ ｌ ｌ Ｊ。 １ ＝
（ ）
（） ３
在神经网络方法 中无法避免的局部极值问题 ；３ （） Ｓ Ｍ将实际问题通过非线性变换转换到高维的特 Ｖ
征空间， 在高维空间中构造线性判别函数来实现原 空间中的非线性判别 函数 ， 特殊性质 能保证 Ｓ Ｍ Ｖ 有较好的推广 能力 ， 同时它巧妙 地解决 了维数 问 题， 其算法复杂度与样本维数无关 【 ． ２ 通过计算机 Ｊ 对比实验得到两个方面因素 ， 它们对分类精度的影 响包括 ：１ 核 函数参 数 对分 类精 度 的影 响 ；２ 线 （） （） 性组合核函数对分类精度的影响．
ｒｎ ｎ ￣ａｅ ３ ａｄ （ ｔｔ． ）状 态语 句 ， 后 通过 给定 样 本数 ／ 然 １ ， 的大小来 产 生第一 类 二维 训练 样本 ＝ｒｎ ｎ Ｉ ａｄ （ ， ｔ ２， ） 赋予对 应 的类 别 为 Ｙ 。＝ｏｅ（ ，） 第 二 类 训 ｎ５ ｎ １ ；
； 另一种方案通过非线性变换 将输入空间变换
ｓｔ ．
ａ ≥ Ｏ ｉ＝ １… ， ， ， ， ｌ
∑ａｉ ０ ｉ ＝ Ｙ
这是一个在不等式约束下的二次 函数机制问题 ， 存
在唯 一最优 解． 若 ’为 最优 解 ， 则
’
＝
∑ａｙ ￣ｉ ｘ
＝ｌ
（） ４
ａ’ 不为零 的样本 即为支持 向量 ， 因此 ， 最优分类
面的权 系数 向 量 是 支 持 向量 的线 性 组 合． ’可 由 ｂ
Ｋ（ ，， ＝ａ （ ，， ） Ｋ１ ‘ ）＋ｂｉ（‘ ， ￥ ｘ， ） ２ （） ８
３ １ 核函数参数对分类精度影响 ． 本实验对如下情况进行讨论 ： 三种核 函数的参 数取 整 数 值 ， 样 本 容 量 为 １０２０，０ ，Ｏ ． 且 ０ ，０ ３０４ Ｏ 具 体获取的分类精度值如下所示 ： 表 １ 不 同样 本下 多项式 核 函数不 同参数分类精 度
第３ ０卷 第 ４期
２１ 年 ｏ 月 ０２ ７
佳 木 斯 大 学 学 报 （自 然 科 学 版 ） Ｊｕｎ ｌ ｆ ｉ ｓ Ｕ ｉ ｒ （ ａ ｒｌ ｃｅｃ ｄ ｉｎ ｏ ｒａ ｏ ａ ｉ ｎｖ Ｓ Ｎ ｔ ａ Ｓ ｉ ｅＥ ｉｏ ） Ｊ ｍｕ ｅ ｕ ｎ ｔ
Ｖ １３ Ｎ ． ｏ． ０ ｏ４
分析三组实验数据 ， 组合核函数 ｌ 中高斯函数 （ ＝１ 与线性核函数各 自组合前分类精度都 比 ）
较好 ， 同一训 练样 本 以不 同 的 比例 组合 核 函数 分类
效果较差， 但是分类效果的区别我们可以很明显的
看 出来． 于 实 验 训 练 样 本 容 量 为 １０， 用 形 核 对 ０ 采
＿
一∑ ） ＷＸ＋ ） Ｉ ［ （ｒ ６ 一 ］ ，
Ｉ＝ Ｊ
（） ２
是专门针对有限样本情况的 ， 目标是得到现有信 其 息下的最优解而不仅仅是样本数趋于无穷大时的
最优值 ；２ Ｓ Ｍ最终将转化成为一个二次型寻优 （）Ｖ 问题 ， 从理论上说 ， 得到的将是全局最优点 ， 解决了
表 ２中实验 数据 可 以观 察 到 除 了样 本 容 量 为 ２０ 方 差 ＝１ ４时 ， ０， 和 针对 于 同一 方差 ， 随着样 本
表５
组 合核 函数 ２
高斯 （ ＝ １ 与 多项 式 组合 核 （ ） ｑ：２ 函数 ） ）
容量 的变 大 ， 分类精 度逐渐 减小． 当样 本容量 为 １０ 高斯参数取值为 １和 ２时 ， ０， 获取最优精度 ０ ．
ｔ ＾
０ 引 言
支持 向量机是建立在 统计学 习理论 的 Ｖ Ｃ维 理论和结构风险最小原理基础上 ， 根据有限的样本 信息在模型的复杂性 和学习能力 之间寻求最佳折 中 的 方法 … ． 持 向量 机 的优 点 主 要 有 ： １ Ｓ Ｍ 支 （ ）Ｖ
Ｌ１ｂ ［ （， ０ ｌ ，）＝ Ｊ
６８ ２
佳 木 斯 大 学 学 报 （自然 科 学 版 ）
实 验 中 我 们 调 用
２ １ 年 ０２
Ｍａｌｂ ． １０ 下 ｔ ７ １． ａ
２ Ｓ Ｍ 核 函数 Ｖ
当样本 数 据 线性 不 可 分 时 主要 有 两 种 解决 方 案， 一种 是 引入松 弛变 量 § （§ ０， １２ ． ｌ ｉ＝ ，… ｎ ， 超平 面 ｔ ＋ｂ＝０满足 ，（， ｉ ）≥ １一 ）使 ｔ ， ， ｔ戈 ＋６ ｌ
到一个 高维 空间 ， 后 在这 个新 空 间 中求取最 优线 然 性分类面 ． 】这种非线性 变换是通 过定义适 当的 核 函 数 （ 积 函 数 ）实 现 的 ，令 Ｋ ｘ， 内 （ ） ＝＜
练样本点为 ＝５＋ ａ ｄ （ ，）赋予对应的类别 ｒｎ ｎ ｎ２ ， 为Ｙ ２＝一ｏ ｅ（ ，） ｔ ‘ ｉ８， １ ． 测试 样本 我 们选 取 的是 ： 。＝１＋ｒｎ ｎ ５ ， ｔ ｘ ａ ｄ （０
＝
１０的分类情况 ， ０ 训练点 １ 和训练点 ２ 为选取的
训 练点 ， 测试 点 １ 测试 点 ２ 测试 点分类 情况 ， 与 为 计 算得 出其 分类 精度 为 ０ ９０ ． 图 １ ．７０ 下 为一 张样本 容
ｂ 多项式形式的核函数， ／ ｘ ）＝［ ） ） 即 ｃ ， （ （
＋１ ； ］ 对应 Ｓ Ｍ是—个 ｑ Ｖ 阶多项式分类器 ； Ｃ 高 斯 核 函 数， 即 ） ， ） ＝ ｅｐ 一 ｘ｛