神经网络分类器

人工智能课内实验报告(四)
班级：
姓名：
学号：
实验题目：
神经网络分类器
实验目得
通过编写神经网络分类器，掌握神经网络得分类方法；
掌握BP 算法及其具体应用。

实验内容
本次实验就是对在与不在正弦函数曲线上得两类点进行分类。

所使用得算法就是神经网络中得BP 算法。

实验原理及算法描述
线性分类器不能解决非线性问题，因此必须使用非线性分类器解决非线性问题。

非线性分类常采用神经网络算法，本次实验中使用得就是BP 算法。

BP (Back Propagation)神经网络就是一种神经网络学习算法。

其由输入层、隐层、输出层组成得阶层型神经网络，隐层可扩展为多层。

相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教得方式进行学习，当一对学习模式提供给网络后，各神经元获得网络得输入响应产生连接权值（Weight ）。

然后按减小希望输出与实际输出误差得方向，从输出层经各中间层逐层修正各连接权，回到输入层。

此过程反复交替进行，直至网络得全局误差趋向给定得极小值，即完成学习得过程。

算法描述：
输入层: 单元i 得输入：i
x ； 单元数量：d ；
单元i 得输出：i
x ；
单元i 得激活函数：线性函数;
隐层： 单元j 得输入：netj ；
单元数量：nH ；
01
j d
t
j ji i j i net x x ωωω==+=∑ 010(,,....,),1t d x x x x x ==
01(,,....,)t j j j jd ωωωω=
单元j 得输出：()j j y f net =；
单元j 得激活函数：非线性函数； 输出层： 单元k 得输入： k net ；
单元数量：c ；
01H
n t k kj j k k j net y y
ωωω==+=∑ 010(,,....,),1H t n y y y y y ==
01(,,....,)H
t k k k kn ωωωω=
单元k 得输出：()k k z f net =
单元k 得激活函数：非线性函数
两层神经网络图如下：
分析：
（1）给定隐层单元及输出层单元得激活函数，一个神经网络就可以实现一个对输入特征向量x 得非线性映射。

因此，神经网络本质上就是一个非线性函数。

（2）给定隐层单元及输出层单元得激活函数，该非线性函数所对应得映射关系完全由权系数决定。

不同得权系数对应不同得非线性映射。

（3）神经网络学习得目得，就就是根据已知得训练样本，确定神经网络得权系数。

这一过程称为训练过程。

在训练过程结束后，对于新样本x ，根据神经网络得输出进行判决。

（4）对于C 类分类问题，神经网络得输出为(),1,...,k z x k c =。

神经网络得判决规则为：如果()(),1,...,,k l
z x z x l c l k ≥=≠，则判x 属于wk 。

（5）令()(),1,...,k k
g x z x k c ==，可以瞧出神经网络实际上实现了C 个非线性
得鉴别函数，并根据鉴别函数得取值进行分类。

（6）神经网络得训练目标：调整权系数w ，即所有得wkj 及wij ，使得对于训练集中得每一个训练样本(x,t)，网络得输出尽可能满足： 11()()......()c c z x t z x t z x t ⎛⎫⎛⎫
⎪ ⎪=== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭
（7）优化准则：对于样本集D ，使下述误差函数取得最小值： ()()
x x D
J J ωω∈=∑
()211()()2c
x k k k J t z x ω==-∑ 权系数得调整：
kj kj kj J
ωωηω∂←-∂ ()'()k j k k k k kj J y t z f net δδω∂==--∂，
1
()c ji ji j i j j k kj k ji ji J J x f net ωωηδδδωωω=∂∂'←-==∂∂∑，， BP 算法描述：
对于给定得样本集D={(x,t)}，初始化网络结构d*nH*c 。

初始化权系数w ，学习效率η、阈值θ。

随机从D 中取出一个样本(x,t)，根据该样本更新权系数w ： kj kj kj
J
ωωηω∂←-∂
ji ji ji
J ωωηω∂←-∂ 计算()()pre J J J ωω∆=-，如果J θ∆<结束训练，并认为此时得w 为最优。

否则转第2步继续进行循环。

实验结果
运行程序
选择初始参数，输入正弦函数参数：
采样文件输出至当前目录下得initSample、dat文件中，第一列为x坐标，第二列为y坐标，第三列为t值，在正弦曲线上为1，不在为-1：
再选择训练样本，屏幕上输出最优权值，第一行wkj为隐层到输出层得权值，第二、三行wij为输入层到隐层得权值：
TestSample、dat如下：
其中第三列大于0得点在曲线上，小于0得点不在曲线上。

结果分析：
通过测试，测试样本中92%得数据测试正确，有8%得数据判错。

实验总结
通过本次实验，我对神经网络分类器得原理有了更加深刻得体会。