机器学习SVM(支持向量机)实验报告

.

.

实验报告

实验名称：机器学习：线性支持向量机算法实现

学员：张麻子学号： *********** 培养类型：硕士年级：

专业：所属学院：计算机学院

指导教员： ****** 职称：副教授

实验室：实验日期：

.

.

一、实验目的和要求

实验目的：验证SVM（支持向量机）机器学习算法学习情况

要求：自主完成。

二、实验内容和原理

支持向量机（Support V ector Machine, SVM）的基本模型是在特征空间上找到最

佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。

但本次实验只针对线性二分类问题。

SVM算法分割原则：最小间距最大化，即找距离分割超平面最近的有效点距离超平面距离和最大。

对于线性问题：

w T x+b=0

假设存在超平面可最优分割样本集为两类，则样本集到超平面距离为：

ρ = min{|w T x+b|

||w||

}=

a

||w||

需压求取：

max

a ||w||

s.t. y i(w T x+b)≥a 由于该问题为对偶问题，可变换为：

min 1

2

||w||2

s.t. y i(w T x+b)≥1

可用拉格朗日乘数法求解。

但由于本实验中的数据集不可以完美的分为两类，即存在躁点。可引入正则化参数Ｃ，用来调节模型的复杂度和训练误差。

.

.

min 1

2||w||2+C ∑εi

s.t. y i (w T x +b)≥1?εi ,

εi >0

作出对应的拉格朗日乘式：

对应的ＫＫＴ条件为：

故得出需求解的对偶问题：

{min 1∑∑αi αj y i y j (x i T x j )?∑αi

s.t. ∑αi y j = 0 , C≥αi ≥0,

本次实验使用python 编译器，编写程序，数据集共有２７０个案例，挑选其中70%作为训练数据，剩下30%作为测试数据。进行了两个实验，一个是取Ｃ值为１，直接进行ＳＶＭ训练；另外一个是利用交叉验证方法，求取在前面情况下的最优Ｃ值。

三、实验器材

实验环境：windows7操作系统+python 编译器。

.

.

四、实验数据（关键源码附后）

实验数据：来自UCI机器学习数据库，以Heart Disease数据集为例。

五、操作方法与实验步骤

１、选取Ｃ＝１，训练比例７：３，利用python库sklearn下的SVM()函数进

行训练，后对测试集进行测试；

２、选取训练比例７：３，Ｃ＝np.linspace(0.0001, 1, 30)}。利用交叉验证方法求出Ｃ值的最优解。

六、实验结果与分析

实验一得出结果：

可见，训练集的正确率是0.8677248677248677，小于１，说明训练集存在躁点，需要选择性的排出，才能得到较好的训练效果，测试集正确率达到了0.8271604938271605，还须进一步提高。

实验二得出结果：

.

. 可见，在上述情况下，当Ｃ＝0.06905862068965518时，可得到较好的训练效果。

七、问题与建议 (可选)

本次实验只是对ＳＶＭ在线性空间的应用，还有非线性问题，多分类问题等。

通过研究了解到，对于非线性问题，需要加入核函数；对于多分类问题，需要重新调整模型

八、附录（源代码）

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import matplotlib as mpl

from sklearn import svm

from sklearn.model_selection import train_test_split, GridSearchCV

from sklearn.metrics import classification_report

def LoadData(path):

data = np.loadtxt(path, dtype=float, delimiter=' ')

return data

def Once_SVM(data, c=0.1, train_rate=0.7):

.

x, y = np.split(data, (13,), axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y,

random_state=0, train_size=train_rate)

clf = svm.SVC(C=c, kernel='linear', decision_function_shape='ovo') clf.fit(x_train, y_train.ravel())

print(u'C值: ', c)

print(u'训练集正确率: ', clf.score(x_train, y_train)) # 精度

print(u'测试集正确率: ', clf.score(x_test, y_test))

print(u'测试集预测结果：')

y_hat = clf.predict(x_test)

print(y_hat)

print(u'测试集真实结果：')

print(y_test.T)

def CrossValidation_SVM(data, train_rate=0.7):

x, y = np.split(data, (13,), axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y,

random_state=0, train_size=train_rate)

tuned_parameters = [{'kernel': ['linear'], 'C': np.linspace(0.0001, 1, 30)}]

# 构造这个GridSearch的分类器,5-fold

clf = GridSearchCV(svm.SVC(), tuned_parameters, cv=5,

scoring='accuracy')

clf.fit(x_train, y_train.ravel())

print(u'最优参数：')

.

.

. print(clf.best_params_)

y_true, y_pred = y_test, clf.predict(x_test)

print(classification_report(y_true, y_pred))

if __name__ == '__main__':

data = LoadData(u'D:/研究生课程/机器学习/ML_data/heart.dat') Once_SVM(data, 1, 0.7)

CrossValidation_SVM(data, 0.7)