一种基于神经网络的规则获取方法

5 67 8 /0 ,.: .;< =; 98
重要 & 为了减少网络训练时间 # 我们采用 ^ ‘ a b法的准牛 顿 算 梯 度 下 降 法 具 有 线 性 收 敛 率# 而该算法正好相反# 具有超 法# 当 达 到 函 数 U8 的局部最小值 线 性 收 敛 率# ; A Z8 ; S# T S# T 时# 也就是当函数的梯度充分小时 # 网络训练终止 &
! 那就可能会有多达 2 种不同的输 具有二进制值的 输 入 连 接 # 入模式# 即 使 !很 小 # 规 则 也 会 相 当 长 或 相 当 复 杂& 第二个原
其中的 7函数是一个激励函数
> <> @ <@ 采用的是双曲正切函数 7 作为隐 8 > ; 6? 8 > ; 6 > <> @A @ 节点的激励函数 &
% 引
言
分类规则 -
数据挖掘是发现新颖的/ 有效的和完全能够被人们理解 的数 据 模 式 的 一 种 方 法. 它结合统计和计算技术从大量的数 据集中获取有用的模式 . 进而产生指导性的规则集合 数据 挖 掘中的重要研究问题之一就是分类问题 数据库中的数据 项 . 如关 系 型 数 据 库 系 统 中 的 元 组. 通常代表了现实世界中的实 体. 一个元组的属性取值则代表了实体的特性 分类就是一 个 在不 同 实 体 中 找 出 共 同 特 性 并 为 它 们 划 分 类 别 的 处 理 过 程. 其结果常常用分类规则的形式来表示 . 通过规则的描述 . 元组 表示的实体就可以很容易地被划分到其所属的类别中去 分类问题重述 如 下 ! 设 & 为 属 性 &$. . &". &^ 的 集 合 . 表 示 属 性 &e 的 可 能 取 值 的 集 合 设 a为 类 别 a * , . $ &\ \ [ e &e 的 集 合 给 定 一 个 数 据 集 合 的 数 据 成 员 是 形 如 . . . " ] a a 的* 维的元组. 其中 Z * . . . . , ($ , )* , * $ * $ " ^ ’ e Z Z Z a ^ &\ \ [ e &e 且 分 类 问 题 就 是 通 过 所 给 训 练 数 *e *^ , a )a * $ *’ * ], ’ 据集获取规则 + 通过对测试集运用这些规 则 . 可以检查这些 . 规则的优劣 * 以预测 准 确 度 来 衡 量 , 归纳得到较好的规则用 . 于具有未知类别的实际数据库的判别. 进而确定各个元组的 类别 分类问题的基本方法仍然是符号式方法 . 即决策树的 方 法本文研究了用神经网络获取数据库中的分类规则的方 法. 基于新的规则抽取算法 . 可以从神经网络中抽取出明确 的
摘
要 !分类问题是数据挖掘中的一个重要问题 . 分类目的就是寻找规则 . 具体来 说 . 就是从给定的数据集合中找出能 把数据集 划 分 成 不 相 交 的 若 干 个 组 的 规 则 . 目前已有的在大型数据库中挖掘分类规则的数据挖掘方法. 主要还是基于

符号学习机制的决策树方法 本文研究了一种新型的规则抽取算法 . 能够从神经网络中抽取出较好的规则 关 键 词 !神经网络 0数据挖掘 0分类 0规则抽取 中图分类号 !1 $ & $ 2 文献标识码 ! + 文 章 编 号! $ # # # % $ " " # * " # # ) , # ( % $ # ) # % # ’
, 神经网络的理论
人 工 神 经 网 络 是 全 互 联 的 网 络 结 构. 即神经元之间是相 互紧密连接的 . 包含各种不同的网络拓扑结构 . 其中多层感 知 器* 对于执行分类函数特别有用一般的前馈神经网络 , -Q 2 隐层和输出层 . 每个节点 * 神经元 , 都有多 个 输 包含了输入层 . 入 和 单 个 输 出例 如. 隐 层 中 的 神 经 元 .n 的 输 入 有 /e . $ e e n n n 而输出为 的输入连接权重为 . . /". /^. 0.n 1$. 1". 节点计算输出值时. 通过合计其加权输入得到激活值. 再 1^然后 把 结 果 传 给 一 个 非 线 性 函 数 ‘ 即 激 活 函 减去一个阈值 . .
为了衡量分类错误 # 需要一个误差函数 # 以便使训练过 程 变为调节权重 8 使该函数取最小值 & ; # S# T 在训练算法中 # 采用交叉熵函数作为误差函数 # 并附加 一 个惩罚项 4
第" ’卷 第 (期 " # # )年 (月
小 型 微 型 计 算 机 系 统 2-P -P KP O 3 45 65 1 7 -5
9 " ’ KU ( 8U p # # ) : | S M"
一种基于神经网络的规则获取方法
王 玮 蔡莲红
清华大学 计算机科学技术系多媒体所 .北京 $ * # # # & ’ ,
收稿日期 国家 & 资助 - 作者简介 ! 王 玮. 博士后. 主要研究领域为数据挖掘/ ! " # # $ % # & % " ’ 基金项目 ! ( )高技术支持项目 * " # # $ $ ’ # $ ) , ++$ 万方数据 神经网络 0 蔡莲红 . 教授 . 博士生导师 . 主要研究领域是多媒体技术 / 语音信息处理 -
网 络 训 练 的 目 的 是 找 出 最 佳 的 权 重 集 合. 从而使网络能 够对输入元组分类时 . 取得令人满意的准确率 . 权重的初始 集 合用介于% 修改权重通常是利用包 $和 ( $之 间 的 随 机 设 定 . 含误差函数的梯度的信息来实现的当误差函数的梯度值低 于预定值时 . 训练阶段就结束了 -
m期
王
玮 等4 一种基于神经网络的规则获取方法
) * ’ )
假 定 !维 空 间 中 的 输 入 元 组 要 划 分 成 不 相 交 的 三 个 类 构造一个包含三个层的网络 # 输入层的节点数对应 & "# $和 % 于输入元组的维数# 输出层的节点数则等于要划分出的类别 数# 在此类别数为 ’ 该网络对 " 集合中的所有模式 用 目 标 值 & 进 行 训 练# 对 $集 合 中 的 模 式 用 ( 训 练# 对% ( ) # * # * + * # ) # * + 集 合中元组用( 训练& 如果第一# 第二或第三个输出节 * # * # ) + 则 输 入 元 组 将 相 应 地 被 划 分 为 类 别 "# 点得到最大激活值# $ 或 %的成员 & 隐层中的一个节点的激活值是通过把输入值的加权和传 给一个非线性激活函数计算出来的& 设 ,到 . 为输入节点 . 隐 节 点 - 的 连 接 的 权 重& 给 定 一 个 输 入 模 式 /0 # 1 ( # 0 ) 其 中 3为 数 据 集 中 的 元 组 数 & 第 -个隐节点的激 2 # & & & # + # 3 活值为 4
c 规则抽取算法
该 阶 段 从 已 经 训 练 完 成 的 网 络 中 抽 取 出 分 类 规 则& 生成 形如如下形式的规则 4 其中的 e T ;d ! f8 d e T ;d ! f& & &8 d e T ;O E @ !% 0 78 d ) ) 2 2 ! ! g# 是关系运算符 0是 某 个 输 入 元 组 的 属 性 值 # 0是 一 些 常 量 # d T e 是归属类别名称之一 8 6# h# i# j k ; # & g % 难 于 从 训 练 过 的 网 络 中 抽 取 规 则 有 许 多 原 因& 第一个原 因# 网络的连接数可能太多# 以致于无法用 0 的形 & & & & & & 7 O E @ ! 式 描 述 元 组 及 其 类 别 标 记 之 间 的 关 系# 如 果 一 个 节 点 有 !个
3 4 5 6 78 9: 6 ; < 4 = : 6 > ? 8 < @A 8 <B ; = 6C D > < 4 E > F 8 9G H H < 8 4 E I
.O % J+KL JM N +P Q N R S T U S V
* .f .m # # # & ’ . , WX Y Z [ \ ]X ^ \ _ ‘a _ ] Y b \ X [c d e X ^ d X g e ^ h i b Zj^ e k X [ g e \ l X e n e ^ h$ a i e ^ Z
.zT G o 5 > < 4 E > O p R q q N r N s R t N U SN qU S Ms p R q qU r u R t RvN S N S Vw x U y p M vq N s TN S { U p { M qr N S u N S Vx | p M qt T R t w R x t N t N U SRV N { M Su R t R -+w q M t N S t Uu N q } U N S t V x U | w q w x U R s Tw x U w U q M uq Ur R x r U x vN S N S Vs p R q q N r N s R t N U Sx | p M q r U x p R x V Mu R t R y R q M q R x MvR N S p ~u M s N q N U S -P .zMq t x M My R q M uq ~ vy U p N sp M R x S N S VvM t T U u q St T N qw R w M x t | u ~RS M z vM t T U ut UM ! t x R s t x | p M qr x U vS M | x R p S M t zU x " q 0u 0s 0x R t RvN S N S V p R q q N r N s R t N U S | p MM #6 $? 8 < 7 5 S M | x R p S M t zU x " ! t x R s t N U S