基于BP神经网络决策的KNN改进算法

Abstract: Concerning the problem that the accuracy of K Nearest Neighbor ( KNN) algorithm is greatly influenced by K value， an improved algorithm using BP neural network to optimize KNN algorithm was proposed to reduce the influence of K value selection on algorithm precision and improve the accuracy of KNN algorithm． The improved algorithm was used to optimize the results of KNN algorithm classification using BP neural network． First， by using the K Nearest Neighbor algorithm with different K values for the training samples， a number of different preliminary classification result sets were got for the same data． Then， different preliminary classification result sets were used as the input of BP neural network for further training and classification． Experiments on multiple data sets show that the improved KNN algorithm based on BP neural network decision making reduces the influence of K value on the accuracy of the algorithm and greatly improves the accuracy of classification．
( 1． College of Electronics and Information Engineering， Sichuan University， Chengdu Sichuan 610065， China; 2． Jingmen Petroleum Transportation Office， SINOPEC Pipeline Storage and Transportation Company Limited， Jingmen Hubei 448000， China)
Journal of Computer Applications 计算机应用，2017，37( S2) : 65 － 67，88
ISSN 1001-9081 CODEN JYIIDU
2017-12-20 http: / / www． joca． cn5-03
Key words: K Nearest Neighbor ( KNN) ; BP neural network; algorithm accuracy; classification algorithm; K value
0 引言
K 近邻（ K Nearest Neighbor，KNN） 算法是解决分类问题 中最为常用的算法之一，其算法具有原理简单易于理解、实现 方便、分类有效等特点［1］。KNN 分类算法的主要思想是： 先 计算待分类样本与已知类别的训练样本之间的距离，找到距 离与待分类样本数据最近的 K 个样本； 再根据这些样本所属 的类别来判断待分类样本数据的类别。如果待分类样本数据 的 K 个最相邻的样本都属于一个类别，那么待分类样本也属 于这个类别； 否则，以 K 个邻居中占多数的类别来确定待分类 样本属于哪个类别［2］。传统 KNN 算法在使用样本预测过程 中受到 K 值的选取影响不确定性较大，在使用传统 KNN 算法 分类时，一般使用 10 折交叉选取正确率较高的 K 值。为了提 高正确率改进的 KNN 一般通过改进 KNN 算法的距离度量、 K 的取值方法进行优化以及对样本作预处理等［3］。如文献［4］ 研究一种距离加权算法： 对 K 个最邻近样本赋予不同的权值， 使得 KNN 分类算法对 K 值的选取敏感度下降，提高了算法的 鲁棒性。文献［5］研 究 一 种 根 据 稀 疏 学 习 理 论，利 用 训 练 样 本重构测试样本的方法寻找投影变换矩阵，然后利用得到的 变换矩阵确定测试样本所需的 K 值，提高了算法分类的准确
表1实验数据集32实验方法及评价指标为了验证本文提出的基于bp神经网络算法决策的knn改进算法的有效性在每一个数据集上都分别使用传统的knn算法基于距离加权的模板约简k近邻算法templatereductionknearestneighboralgorithmbasedonweighteddistancetwknn与本文研究的基于bp神经网络决策的knn改进算法进行分类使用1o折交叉验证法验证其中传统knn算法基于距离加权的模板约简近邻算法及本文基于bp神经网络决策的knn改进算法中使用到的knn算法中参数k值分别取3579
关键词： K 近邻； BP 神经网络； 算法精度； 分类算法； K 值 中图分类号： TP301． 6 文献标志码： A
Improved KNN algorithm based on BP neural network decision making
LU Dunli1* ， NING Qian1 ， ZANG Jun2
基于 BP 神经网络决策的 KNN 改进算法
路敦利1* ，宁 芊1 ，臧 军2
（ 1． 四川大学 电子信息学院，成都 610065； 2． 中石化管道储运有限公司 荆门输油处，湖北 荆门 448000） ( * 通信作者电子邮箱 360685006@ qq． com)
摘 要： 针对 K 近邻 （ KNN） 算法中算法精度受 K 值选取影响较大的问题，提出了一种使用 BP 神经网络来优化 KNN 算法的改进算法来降低 K 值选取对算法精度的影响同时提高 K 近邻 算法的准确率。所提改进算法主要是使用 BP 神经网络对 K 近邻算法分类完成后的结果进行改进优化。首先，通过对训练样本使用 K 值不同的 K 近邻算法进行 初步分类，同一数据会得到多个不同的初步分类结果集； 然后将初步分类结果集作为 BP 神经网络的输入，再对 BP 神 经网络进行训练分类。在多个数据集上的实验表明，基于 BP 神经网络决策的 K 近邻改进算法降低了 K 值对算法精 度的影响，同时极大地提高了分类的准确率。