基于Hopfield神经网络的数据分类

J l = J l －1 + 并且： （ Δ（ml） ）
（ l） ij
∑Δ
m =1 m －1
（ l） m
（ 6）
=
( k N )（ ξ
（ l －1 ） ij
l i
－ h i ） （ ξ lj － h j ）
（ 7）
其中 Δm 是突触矩阵在 m 次呈现之后的改变值， 并且局部值 h 是在突触矩阵第 m － 1 次改动后才计算： hi =
0
引言
分类算法作为数据挖掘的一个重要分支， 是指从数据中
接。每个神经元都通过连接权重接受所有其他神经元输出反 ［4 ］ 其目是为了让每个神经元的输出能够接受所 馈来的信息 ， 有其他神经元输出的控制， 从而使各神经元能够相互制约 。 Hopfield 分为离散型 Hopfield 神经网络和连续型 Hopfield 神经网络。连续型 Hopfield 神经网络主要用于优化， 而离散 离散 Hopfield 网络的 型 Hopfield 主要用于联想记忆。 其中， 神经元变化函数为符号函数， 网络的节点状态仅取两值 + 1 和 － 1 （ 或 0 和 + 1 ） 。离散型 Hopfield 神经网络结构如图 1 所 示。由于离散型 Hopfield 的结构特点， 其输出的数据与其输 入的模式大小以及维度相等 。 对于离散型 Hopfield 神经网络， 其神经元可取二值 （ 1 ， － 1 ） 或（ 1 ， 0 ） 。其中神经元 i 与神经元 j 之间的突触权值为 w ij ， 因此对于一个有 N 个神经元的 Hopfield 神经网络， 其权 重的矩阵大小为 N × N 。而其独有的联想记忆过程则是通过 一系列的迭代过程， 直至系统稳定。 具体为： 假设某一时间 Hopfield 神经网络的状态为： S =［ S1 ， S2 ， …， Si ， …， SN ］ 该神经元的局部域（ local field） h i 为： （ 1） 其中： S i 代表第 i 个神经元的当前状态， 即可为 + 1 或 － 1 ， 则
选出已经分好类的训练集， 再在该训练集上运用数据挖掘分 类的技术， 建立分类模型， 并对没有分类的数据进行分类 。 这 并可以进一步衍生出预 测 算 类算法具有广泛的应用领域， 法
［1 ］
。分类技术主要分为训练和分类两个步骤 。 在训练过
程中， 算法会对有类标号的训练集进行特征选择， 然后进行训 。 练生成分类器 而在分类过程， 分类器会先对无类标号的样 本进行特在选择， 然后分类， 判定其类别。目前主要的分类算 法分为监督学习和半监督学习
j
（ 2）
其中 w ij 为 j 神经元到 i 神经元的连接权重， 则该神经元接下 来的状态 S' 则根据其局部域和原状态通过一个函数得出： Si ' =
Marcelo G． Blatt 和 Eduardo G． Vergini 提出 容量过低的缺点， ［8 ］ 了一种新的局部学习规则 （ 后文简称 BV 算法） 。这种学习 规则对训练集没有任何要求， 只需要通过对训练集有限次的 呈现， 从而确保所训练的模式的稳定性 。 假设神经网络需要 l l －1 并且假设 J 是已经存储了 l － 1 个ion based on Hopfield neural network
WANG Zhenhua
( School of Management and Economy， Tianjin University， Tianjin 300072 ， China)
Abstract: According to Hopfield neural network's autoassociate property， a new Hopfield classification algorithm ( PSOHOP for short) was proposed， which includes the discrete particle swarm optimization． This new classification algorithm includes the learning algorithm， which was proposed by Blatt and Vergin， to train the neural network， enabling the neural network to overcome the demerit of low pattern capability． In addition， a measuretrain method was put forward to decrease the time complexity， making the classification more efficient． To better deal with the noise data such as missing value， the algorithm takes the advantage of the autoassociate property of the discrete Hopfield neural network， and applies it in the expression of the attribute and class． The PSOHOP algorithm also contains a discrete particle swarm optimization to optimize the structure of the neural network． By distributing the redundant neurons to the attributes，the weight of the attributes can be changed， resulting in the increase of the precision and reflecting the significance of different attributes． The PSOHOP algorithm is a new approach to classify the data and its validity is substantiated by abundant experiment results Key words: Hopfield neural network; Particle Swarm Optimization ( PSO) ; autoassociate; classification
N m m vμ μ j
。
2
粒子群优化算法
PSO ） 由 粒 子 群 优 化 算 法 （ Particle Swarm Optimizer， Kenney 和 Eberhart 于 1995 年提出， 它源于对鸟类捕食行为的 ［14 ］ 研究， 其最初提出是针对连续空间的优化问题 。 PSO 算法 中每个粒子即解空间中的一个解， 它根据自己的移动经验和 同伴的移动经验来调整自己的移动 。每个粒子在移动过程所 经历过的最好位置， 就是粒子本身找到的最优解 。 整个群体 所经历过的最好位置， 就是整个群体目前找到的最优解 。 前 者叫作个体极值（ p best ） ， 后者叫作全局极值（ g best ） 。 每个粒 子都通过上述两个极值不断更新自己， 从而产生新一代群体。 实际操作中通过由优化问题所决定的适应度函数值来评价粒 ［15 ］ 子的优劣程度 。显然， 每个粒子的行为就是种追随着当前 的最优粒子在解空间中搜索 。 类似于遗传算法， 粒子群算法 也是使用群体演化的策略来不断改进问题的候选解 。其标准 版本可用如下的迭代式表达： v i = w × v i + c1 × rand（ ） × （ p ibest － x i ） + c2 × rand（ ） × （ g ibest － x i ） x = xi + vi
收稿日期： 2011 － 10 － 05 ； 修回日期： 2011 － 11 － 15 。 作者简介： 王振华（ 1989 － ） ， 男， 四川成都人， 硕士研究生， 主要研究方向： 数据挖掘、 神经网络。
增刊 2 hi =
王振华： 基于 Hopfield 神经网络的数据分类
93
∑w S
ij j≠ i
目前 Hopfield 神 经 网 络 的 训 练 算 法 主 要 分 为 三 类， 即 Hebb 学习算法、 伪逆矩阵学习算法以及感知器方式的学习算 法。 第一类为传统的 Hebb 算法， 其学习方法的绝对容量有 ［4 ］ 。 为此 Storkey 在原有 Hebb 学习算 限， 仅为 N / （ 0 ． 5ln N） ［5 ］ 法的基础上进行改进， 提出了一些新的训练方式 。 第二类训练方法为伪逆方法， 这一类算法都是希望通过 伪逆算法来得出 Hopfield 神经网络的权重矩阵， 其中最传统 的方式为： wv ij = Q = 1 ∑ξvi （ Q －1 ） N∑ v =1 μ =1 1 v ξk ξμ k N∑ k =1
∑{J
j =1
N
m －1
+
∑（ Δ
k =1
（ l） k
）
ij
}ξlj
（ 8）
k 越大则存储模式所需要的步骤就 其中： k 是一个记忆系数， 如果： 越少。该算法另外一个重要的特点是当 0 ≤ T ＜ 1 时， n μ ≥ log k 那么： hi ξμ i ≥ T；
[ （ 1 －N T） ]
2
（ 9）
图1
离散型 Hopfield 神经网络结构示意图
i = 1， …， N
（ 10 ）
该算法通过伪逆矩阵的近似计算， 并且除去所有的自连 接权重， 大大地提高了 Hopfield 神经网络的存储容量， 同时保 留了 Hebb 算法中样本可以递增学习的优点， 避免了对已训 练模式的干扰