一种改进的基于粗糙集的决策树算法
合集下载
一种改进的基于粗糙集的启发式值约简算法
作者简 介： 金海波 （９ ０一）男 ， １８ ， 硕士 ， 助教 ， 主要研究方 向是数据挖掘。
ｌ２ ８
太
原
科
技
大
Байду номын сангаас
学
学
报
２１ ００芷
且恢复了所有的标记“ ” ？ 为原属性值 ， 但该记录仍
值）则把记录 的决策类别修改为最大 所对应的 ， ｃ决策类别 ， 并且将记录 中所有属性标记“ ” ？ 改为
第３ 卷 第 ３ １ 期
２１ ０ ０年 ６月
太
原
科
技 大
学
学
报
Ｖ １ １ Ｎ ・ ｏ ３ ｏ３ ．
Ｊ ｎ ２ １ ｕ．００
Ｊ Ｕ Ｎ Ｌ Ｏ Ａ Ｙ Ａ Ｎ Ｖ Ｒ ＩＹ Ｏ ．Ｃ Ｅ Ｃ Ｎ Ｅ Ｈ Ｏ Ｏ Ｙ Ｏ Ｒ Ａ ＦＴ Ｉ Ｕ Ｎ Ｕ Ｉ Ｅ ＳＴ Ｆ Ｓ Ｉ Ｎ Ｅ Ａ Ｄ Ｔ Ｃ Ｎ Ｌ Ｇ
支持度统计度量 ， 生成 了不同置信度 水平 下的决策规 则集 ， 并设计 了基 于规 则集 的分类 算法。对 Ｍｏｋ ｎ
数据集 的对 比实验表明 ， 算法是有效的。 该 关键词 ： 粗糙 集； 值约简 ； 决策规 则； 分类算法 中图分类号 ：Ｐ ８ Ｔ １ 文献标志码 ： Ａ
粗糙 集理论 是波 兰 学 者 Ｐｗａ Ｚ于 １８ ａｌｋ・ ９２年 提 出 的一 种 处 理模 糊 性 和 不 确定 性 问题 的数 学 理 论… ， 可用 于数据 分析 。约 简 是 粗糙 集 理 论 的研 究 内容 之一 ， 它是在 保持 信 息 系统 分 类 能 力 不 变 的前 提下 ， 除冗余 的 属 性 和 属 性 值 ， 取 简 洁 的决 策 删 获
外一 条记 录 ； 则删 除本 记 录 。 否 对 上 述算法 进行 分 析 ， 到 如下 的改进 思路 ： 得
一种基于粗糙集的改进KNN文本分类算法
表示 为 向量 空 间中 的特 征 向量 ；
目前 文本 分类 方 法 主 要包 括 决 策 树 、 Ｋ最 近邻 （ Ｎ 、 联规 则 、 持 向量 机 （ Ｖ 、 叶斯算 法 Ｋ Ｎ）关 支 Ｓ Ｍ） 贝 （ ａｅ） Ｂｙｓ 、神 经 网络 、粗糙 集 等 。其 中基 于 向量 空
（） ２ 将待 分类 文本 ｔ表示 为 和训 练文 本 一 致 的 ｉ
１ ＫＮ Ｎ算法的基本 思想及存在 问题
Ｋ Ｎ作为一 种基 于实 例 的文 本分 类 算 法 ， Ｎ 被认
为是 向量 空 间模 型 （Ｖ Ｍ） 最 好 的 分 类 算 法 之 Ｓ 下
一
５ ） ｓ） （ 一ｏ ＝ （
向量 长度 。
衙
（ １ ）
式 （ ） ０ 两个 向量 ｄ 和 ｄ 的夹 角 ，ｌ １中 是 １ ｌ ｌ表示 ｄ （） ４ 选择 与 ｄ 相似度 最 大的 ｋ 文本 作 为 向量 个
２ ］
，
该算法分为训练和分类两个 阶段 ４。其思 ｌ Ｊ
想是 ： 文本训 练 阶段 ， 在 主要 是 一 般 特 征 的提 取 、 特
２１ ０ ２年 ４月 １ ３日收到 教育部科学技术研究重点项 目（０ １ ８ 、 ２ ８ ４ ）
ｄ 的 ｋ 最 近邻 ； 个 （） ５ 根据 ｄ 的 ｋ 最 近 邻 ， 算 文本 类 别 相 应 个 计
＾ 纛 ， ｋ
（） ６ 比较 各 类 的权 重 ， 待 分 类 文 本 ｔ归 人 权 将 重 最大 的类别 。 作 为一种 有监 督 机 器 学 习 的非 参 数 方 法 ， Ｎ ＫＮ 集
Ｒ ＝ ｛ ∈ Ｕ ｌ［ ｎ Ｘ ≠ ｝ Ｘ ］ 。
它 们分别 为 的 下近似 集 和 上近 似集 。 定 义 ３ 给 定一 个知 识库 Ｋ ＝ （，Ｒ） 对 于 每个子 【， ， 和一个 等价 关 系 Ｒ ∈ ｉｄ Ｋ） 全集 可 ｎ（ ，
目前 文本 分类 方 法 主 要包 括 决 策 树 、 Ｋ最 近邻 （ Ｎ 、 联规 则 、 持 向量 机 （ Ｖ 、 叶斯算 法 Ｋ Ｎ）关 支 Ｓ Ｍ） 贝 （ ａｅ） Ｂｙｓ 、神 经 网络 、粗糙 集 等 。其 中基 于 向量 空
（） ２ 将待 分类 文本 ｔ表示 为 和训 练文 本 一 致 的 ｉ
１ ＫＮ Ｎ算法的基本 思想及存在 问题
Ｋ Ｎ作为一 种基 于实 例 的文 本分 类 算 法 ， Ｎ 被认
为是 向量 空 间模 型 （Ｖ Ｍ） 最 好 的 分 类 算 法 之 Ｓ 下
一
５ ） ｓ） （ 一ｏ ＝ （
向量 长度 。
衙
（ １ ）
式 （ ） ０ 两个 向量 ｄ 和 ｄ 的夹 角 ，ｌ １中 是 １ ｌ ｌ表示 ｄ （） ４ 选择 与 ｄ 相似度 最 大的 ｋ 文本 作 为 向量 个
２ ］
，
该算法分为训练和分类两个 阶段 ４。其思 ｌ Ｊ
想是 ： 文本训 练 阶段 ， 在 主要 是 一 般 特 征 的提 取 、 特
２１ ０ ２年 ４月 １ ３日收到 教育部科学技术研究重点项 目（０ １ ８ 、 ２ ８ ４ ）
ｄ 的 ｋ 最 近邻 ； 个 （） ５ 根据 ｄ 的 ｋ 最 近 邻 ， 算 文本 类 别 相 应 个 计
＾ 纛 ， ｋ
（） ６ 比较 各 类 的权 重 ， 待 分 类 文 本 ｔ归 人 权 将 重 最大 的类别 。 作 为一种 有监 督 机 器 学 习 的非 参 数 方 法 ， Ｎ ＫＮ 集
Ｒ ＝ ｛ ∈ Ｕ ｌ［ ｎ Ｘ ≠ ｝ Ｘ ］ 。
它 们分别 为 的 下近似 集 和 上近 似集 。 定 义 ３ 给 定一 个知 识库 Ｋ ＝ （，Ｒ） 对 于 每个子 【， ， 和一个 等价 关 系 Ｒ ∈ ｉｄ Ｋ） 全集 可 ｎ（ ，
基于变精度粗糙集决策树的构造算法
表 １ 信 息 表
Ｂ 尺 Ｘ ：ｕ ｛ ∈Ｕ ＲＩ ＜Ｐ Ｅ， ）＜１一 ， Ⅳｐ Ｅ ／ Ｊ ８ （
Ｎ Ｘ ＝Ｌ Ｅ ∈ Ｕ ＲＪ （ ） ｌ一 ｝ Ｅ Ｊ｛ ／ Ｅ， ≥ Ｐ 卢．
定 义 ３ Ｘ在 分类误 差 卢（ ． ≤１ 下 的近 ０ ５＜ ） 似精 度 为
ｌ称 Ｐ Ｘ， ）×Ｉ Ｉ ， （ Ｙ 为绝 对分类 误差 ． 定 义 ２ 设 Ｕ是论 域 ， Ｒ是 Ｕ上 的等价 关 系 ，
对 于 Ｅ（ ． ， ］ ， Ｕ， ０ ５ １ ＶＸ 则 关 于 的下 近
收 稿 日期 ：０ １ ７ｏ ２ １ ＿７
作者简介 ： 张
怡 （９ ０ ） 女 ， １８ － ， 甘肃兰州人 ， 讲师 ， 硕士
・
１ ・ ２
兰 州 工 业 高 等 专 科 学 校 学 报
第 ｌ ８卷
似 ， 近似 ， 界域 ， 边界 域 的定义 为 上 边 卢负
Ｒ Ｘ ＝ｕ ｛ ∈ Ｕ Ｒ Ｉ尸 Ｅ， ＜ ｉ一 ｝ Ｅ ／ （ Ｘ） ，
决策 规则 利 用 了 较 少 的属 性 ， 得 产 生 的 规 则 更 使 加精 练 ， 加 直 观 ， 且 在 建 立 决 策 树 的过 程 中 ， 更 并 属性 的约简 数 目明显 减少 ．
（． ≤１ ， ０５＜ ）放松了传统粗糙集理论对 近似边界
的严格 定 义 ． 当 ＝０时 ， 变精 度 粗 糙 集 模 型 就 蜕
变 成 了传 统 的粗 糙 集 模 型 ． 句 话 说 ， 糙 集 是 换 粗 ＶＲ Ｐ Ｓ的一个 特 例 ， Ｐ Ｓ拥 有 粗 糙 集 的所 有 优 点 ＶＲ
Ｌ ０ ｌ ｌ＝ ０ ．
规则信息等问题． 为了提高分类算法 的效率 ， 本文
将变 精度 粗 糙 集 和 决 策 树 结 合 使 用 ， 两 种 方 法 使
Ｂ 尺 Ｘ ：ｕ ｛ ∈Ｕ ＲＩ ＜Ｐ Ｅ， ）＜１一 ， Ⅳｐ Ｅ ／ Ｊ ８ （
Ｎ Ｘ ＝Ｌ Ｅ ∈ Ｕ ＲＪ （ ） ｌ一 ｝ Ｅ Ｊ｛ ／ Ｅ， ≥ Ｐ 卢．
定 义 ３ Ｘ在 分类误 差 卢（ ． ≤１ 下 的近 ０ ５＜ ） 似精 度 为
ｌ称 Ｐ Ｘ， ）×Ｉ Ｉ ， （ Ｙ 为绝 对分类 误差 ． 定 义 ２ 设 Ｕ是论 域 ， Ｒ是 Ｕ上 的等价 关 系 ，
对 于 Ｅ（ ． ， ］ ， Ｕ， ０ ５ １ ＶＸ 则 关 于 的下 近
收 稿 日期 ：０ １ ７ｏ ２ １ ＿７
作者简介 ： 张
怡 （９ ０ ） 女 ， １８ － ， 甘肃兰州人 ， 讲师 ， 硕士
・
１ ・ ２
兰 州 工 业 高 等 专 科 学 校 学 报
第 ｌ ８卷
似 ， 近似 ， 界域 ， 边界 域 的定义 为 上 边 卢负
Ｒ Ｘ ＝ｕ ｛ ∈ Ｕ Ｒ Ｉ尸 Ｅ， ＜ ｉ一 ｝ Ｅ ／ （ Ｘ） ，
决策 规则 利 用 了 较 少 的属 性 ， 得 产 生 的 规 则 更 使 加精 练 ， 加 直 观 ， 且 在 建 立 决 策 树 的过 程 中 ， 更 并 属性 的约简 数 目明显 减少 ．
（． ≤１ ， ０５＜ ）放松了传统粗糙集理论对 近似边界
的严格 定 义 ． 当 ＝０时 ， 变精 度 粗 糙 集 模 型 就 蜕
变 成 了传 统 的粗 糙 集 模 型 ． 句 话 说 ， 糙 集 是 换 粗 ＶＲ Ｐ Ｓ的一个 特 例 ， Ｐ Ｓ拥 有 粗 糙 集 的所 有 优 点 ＶＲ
Ｌ ０ ｌ ｌ＝ ０ ．
规则信息等问题． 为了提高分类算法 的效率 ， 本文
将变 精度 粗 糙 集 和 决 策 树 结 合 使 用 ， 两 种 方 法 使
一种基于粗糙集的决策树构造方法
给定信 息系统 Ｓ （ ， ， 于每个子集 ＝ Ｕ Ａ） 对 定义两个子集 【 ：
ｑ ｕ， ｘ＝ ｙＥ Ｉ ｙ Ｒ Ｘ＝Ｕｆ ／ ＹＡＸ＃ ＹＥＵＲＩ ｝
知识表达 系统也称 为信息系统。 通常也用 ｓ （ ， ） ＝ ＵＡ 来代替 ｓ （ ， ＝ ＵＡ，
。
（） ４对于 ９中的每一个属性 Ｒ， ． 计算使用Ｒ 进行分类时 的近似 分类 ． 精度 ， 择近似分类精度 最大 的 所 对应 的Ｒ 作为测试属性 ， 被 选 设
兄 的不同取值分为 ｍ个不相交 的子集 ， 葺 ≤ｍ， ， 伸出 ｍ ，号 Ｊ ， 从（ Ｑ ） 个
维普资讯
Ｓ ＩＴ Ｃ Ｆ Ｒ Ａ Ｉ Ｎ Ｄ Ｖ Ｌ Ｐ Ｅ Ｔ＆Ｅ Ｏ Ｏ Ｙ Ｃ － Ｅ Ｈ Ｉ Ｏ Ｍ ＴＯ Ｅ Ｅ Ｏ Ｍ Ｎ Ｎ ＣＮＭ
文章编号：０ ５ ６ ３ （０ ６ １－ １６ ０ １０ — ０ ３ ２ ０ ）３ ０ ３— ３
２０ 年 ０６
∑Ｉ Ｉ
ｉ＝ ｌ
在各种决 策树 算法中最有影 响的是 Ｑ ｉ￣ 于 １８ ｕ ｍ ９６年提出的 以信息 熵 的下降速度为启发信息选取节点 的 Ｉ ３ Ｄ 算法 “ ， ］ 但这种算法不是最 优
的， ＲＨ ｎ 已经证 明了求解最优决策树是一个 Ｎ — ａ 问题 ［。 Ｊ ．ｏ ｇ ． Ｐ ｈｒ ｄ ２ ］
（） １令决策树 的初始状态 只含有一个树根 （ Ｑ） 中 ， ， 是全体训 其 练实例 的集合 ， 口是条件属性 的集合 ； （） 瑚 所有 叶节点 （ ， 都有 如下状态 ： ２若 Ｑ） 或者第一个 分量 中 的训练实例都属于同一个类 ， 或者第二个￣－Ｑ为空 ， － Ｍ 则停止算法 ， 结果
属性取 值较 多的属性 不一定最 优 ； ３ 非递增学 习算法 ； ３抗噪性 Ｉ 是 Ｄ １ Ｄ
一种基于粗糙集理论的决策树构造方法
决 策 树方 法 可 以大 大 降低 决 策 树 算 法 执 行 的时 间 复 杂 度 。
的属性作为分类属性 ， 递归地构造决策 树的分枝 。构建决策树
时使 用 较 多 的一 种 挑 选 测试 属 性 方 法 是 基 于信 息 熵 原 理 ， ： 如 信 息 增 益 、 益 率 ， 有基 于属 性 相 关 性 的 决策 树 的 构 造 。 以粗 糙 增 还 集 理 论 中 的属 性 重 要 度作 为 启 发 函数 来 挑 选 测 试 属 性 ， 能 客 它 观 地 反 映条 件 属 性 对决 策 表 的 决 策 能 力 ， 讨 论 决 策 表信 息 系 在 统 时 ， 个 条 件属 性 对 应 着 一个 等 价 关 系 ， 一 即在 条 件属 性 上 取 值
ａｔ ｂ ｔ ｉ ０（ｆ ｔ ｕｅ ｓ ｉ ｒ Ｃ¨ｎＩ ． ｘ ｅｉ ｎａ ｒｓｌ ｎｔｒｅｄ ｔ ｅｓｄ ｍｏ ｓｒｔ ａ ｅｐｏ ｏ ｅ ｌｏｉ ｍ ａ ｏ ｓ ｕ ｔ ｓ ｏ ｌｘｄ ｃｓ ｎ ） Ｅ ｐ ｒ ｍｅ ｔｌ ｅｕｔ Ｏ ｅ ａａｓｔ ｅ ｎｔａｅｔ ｔｈ ｒｐ ｓｄａｇｒｔ ｃ ｎｃｎ ｔ ｃ ｌ ｓｃ ｍｐｅ ｅｉｉ ｓ ｈ ｈ ｔ ｈ ｒ ａｅ ｏ
Ａｂ ｔ ａ ｔ ｓｒｃ Ｉ ｈｓ ｐ ｐ ｒｗ ｓ ｈ ｉｎ ｆ ａ ｃ ｆ ｈ ｔ ｉ ｕ ｅ ｉ ｒ ｕ ｈ ｓ ｔ ｈ ｏ ｙ ａ ｈ ｄ ｘｔ ｅｅ ｔｓ ｌ ｔ ｇ ａｔ ｂ ｔｓｆ ｒ ｏ ｓｒ ｃｉ ｇ ｎ ｔ ｉ ａ ｅ ｅ ｕ ｅ ｔｅ ｓｇ ｉ ｃ ｎ ｅ ｏ ｅａｔ ｂ ｔ ｎ ｏ ｇ ｅ ｅ ｒ ｓｔｅ ｉ ｅ ｏｓ ｌ ｃ ｐ ｉ ｉ ｔ ｕｅ ｎ ｔｕ ｔ ｉ ｔ ｒ ｔ ｎ ｔｎ ｉ ｒ ｏ ｃ ｎ
第２ ８卷第 ２期
２１ ０ １年 ２月
的属性作为分类属性 ， 递归地构造决策 树的分枝 。构建决策树
时使 用 较 多 的一 种 挑 选 测试 属 性 方 法 是 基 于信 息 熵 原 理 ， ： 如 信 息 增 益 、 益 率 ， 有基 于属 性 相 关 性 的 决策 树 的 构 造 。 以粗 糙 增 还 集 理 论 中 的属 性 重 要 度作 为 启 发 函数 来 挑 选 测 试 属 性 ， 能 客 它 观 地 反 映条 件 属 性 对决 策 表 的 决 策 能 力 ， 讨 论 决 策 表信 息 系 在 统 时 ， 个 条 件属 性 对 应 着 一个 等 价 关 系 ， 一 即在 条 件属 性 上 取 值
ａｔ ｂ ｔ ｉ ０（ｆ ｔ ｕｅ ｓ ｉ ｒ Ｃ¨ｎＩ ． ｘ ｅｉ ｎａ ｒｓｌ ｎｔｒｅｄ ｔ ｅｓｄ ｍｏ ｓｒｔ ａ ｅｐｏ ｏ ｅ ｌｏｉ ｍ ａ ｏ ｓ ｕ ｔ ｓ ｏ ｌｘｄ ｃｓ ｎ ） Ｅ ｐ ｒ ｍｅ ｔｌ ｅｕｔ Ｏ ｅ ａａｓｔ ｅ ｎｔａｅｔ ｔｈ ｒｐ ｓｄａｇｒｔ ｃ ｎｃｎ ｔ ｃ ｌ ｓｃ ｍｐｅ ｅｉｉ ｓ ｈ ｈ ｔ ｈ ｒ ａｅ ｏ
Ａｂ ｔ ａ ｔ ｓｒｃ Ｉ ｈｓ ｐ ｐ ｒｗ ｓ ｈ ｉｎ ｆ ａ ｃ ｆ ｈ ｔ ｉ ｕ ｅ ｉ ｒ ｕ ｈ ｓ ｔ ｈ ｏ ｙ ａ ｈ ｄ ｘｔ ｅｅ ｔｓ ｌ ｔ ｇ ａｔ ｂ ｔｓｆ ｒ ｏ ｓｒ ｃｉ ｇ ｎ ｔ ｉ ａ ｅ ｅ ｕ ｅ ｔｅ ｓｇ ｉ ｃ ｎ ｅ ｏ ｅａｔ ｂ ｔ ｎ ｏ ｇ ｅ ｅ ｒ ｓｔｅ ｉ ｅ ｏｓ ｌ ｃ ｐ ｉ ｉ ｔ ｕｅ ｎ ｔｕ ｔ ｉ ｔ ｒ ｔ ｎ ｔｎ ｉ ｒ ｏ ｃ ｎ
第２ ８卷第 ２期
２１ ０ １年 ２月
基于变精度粗糙集的决策树优化算法研究
基于变精度粗糙集的决策树优化算法研究
常志玲 ， 周庆敏
（ 南京 工业 大 学 信 息科 学与 工 程 学 院，江 苏 南京 ２ ０ ０ ） ｌ０ ９
摘 要 ： 用 变精度 粗糙 集理论 ， 出了一种 利用新 的启发 式函数构造 决 策树 的 方法。该方 法以 变精度 粗糙 集的分 类质量 的 应 提 量度 作 为信 息函数 ， 对条 件属 性进行 选择 。和 Ｉ ３算法 比较 ， 方法充 分考虑 了属 性 间的依赖 性和 冗余性 ， 其考虑 了训 练 Ｄ 本 尤 数 据 中的噪 声数据 ，允许 在构造 决 策树 的过程 中划入 正域 的 实例 类别存 在 一定的 不一致 性 ，可 简化 生成 的决策树 ，提 高决
代 表 一 个测 试 输 出，而 每个 树 叶节 点 代表 类 或 类 分布 。树 的最
顶层 节 点 是根 节 点 。 造 决策 树 的主 要 思想 是 以信 息论 为 工 具 ， 构 在 各 非 叶 节 点选 择 重 要 的属 性 或 属 性组 ， 自上 而 下 地 分割 训练
Ｋｅ ｒ ｓ ＶＰ ； ｄ ｃｓｏ ｅ ； ｒｕ ｈｓ ｔ ｑ ａｉ ｆｃａ ｓｆ ａｉｎ Ｉ ｌｏｉ ｍ ｙｗｏ ｄ ： ＲＳ ｅ ｉｉｎｔ ｅ ｏ ｇ ｅ； ｕ ｌ ｏ ｌｓｉ ｃ ｔ ； Ｄ３ａｇ ｒｔ ｒ ｙ ｔ ｉ ｏ ｈ
０ 引 言
决 策 树 是指 用 树 形 结 构来 表 示 决 策集 合 ， 一种 直 观 的 知 是
ｃ ａ ｓ ｆ ａｉ ｎ ａ ｔ ｓｉ ｆ ｒ ｔ ｎ ｆ ｎ ｔ ｎ ｔ ｅｅ ｔ ｈ ｏ ｄ ｔ ｎ ａｔｉ ｕ ｅｉ ｉ ｍｅ ｈ ｄ Ｃｏ ａｅ ｔ Ｄ３ ａ ｇ ｒｔ ｍ， ｄ ｐ ｎ ｅ ｃ ｌｓ ｉ ｃ ｔ ｃ ｓａ ｏ ｍａｉ ｃ ｉ ｓ ｌ ｃ ｅｃ ｎ ｉ ｏ ｔ ｂ ｔ ｎ ｔ ｓ ｉ ｏ ｎ ｏ ｕ ｏ ｏ ｔ ｉ ｒ ｈ ｔｏ ． ｍｐ ｒ ｄ ｗｉ Ｉ ｌ ｏ ｉ ｈ ｈ ｅｅｄ ｎｙ
基于多尺度粗糙集模型的决策树优化算法
ＣＨＥ ｉ－ ｎ Ｕ Ｓ ｏ ． ａ ．ＸＵ Ｈｕ ． Ｎ Ｊａｉ ．Ｓ ｈ ｕ ｂ ｏ ｕ ａ１ ｉ
（ ｃｏｌｆＩ ｏｍ ｔ ｎＥ ｇｎｅ ｎ，Ｗ ｓＡ ｈ ｉ ｎｖｒｔ ｕ ａ ｎ ｕ ２ ７ １， ｈｎ ） Ｓｈｏ ｆｒ ａｉ ｎ ｉｅｒ ｇ ｅｔ ｎ ｕ Ｕ ｉ ｓｙ ｏ ｎ ｏ ｉ ｅ ｉ，Ｌ ’ｎＡ ｈｉ ３０ ２ Ｃ ｉａ
ａ ｐ ｏ ｉ ｔ ｃａ ｓ ｉａ ｉｎ ａ ｃ ｒ ｃ ｎ ｄｆ ｒ ｎ ｃ ｅ ｓ ｕ ｅ ｏ ｓ ｌｃ ｅ ｔ ａｔ ｂ ｔ ｓ ａ ｄ ｔ ｅ ｈ ｌ — ｏ ｎ ｆ ｃｏ ａ ｕ ｐ ｒ ｘｍａｅ ｌｓ ｉ ｃ ｔ ｃ ｕ ａ ｙ ｉ ｉ ｅ ｅ ｔ ｓ ａ ｓ ｗａ ｓ ｄ ｔ ｅ ｅ ｔ ｔ ｓ ｔ ｕ ｅ ｎ ｈ ｏ ｄ ｄ ｗ ａ ｔｒ ｗ ｓ ｐ ｔ ｆ ｏ ｌ ｒ ｉ
中图分类号 ： Ｐ ８Ｔ ３ １ １ Ｔ １ ；Ｐ １ ．３ 文献标 志码 ： Ａ
Ｄｅ ｉｉ ｎ ｔ ｅ ｐ ｉ ｉ ａ ｉ ｎ ａ ｇ ｒ ｔ ｓ ｄ ｏ ｕ ｔｓ ａ ｅ ｒ ｕｇ ｅ ｏ ｅ ｃｓｏ ｒ ｅ ｏ ｔｍ ｚ ｔｏ ｌ ｏ ｉｈｍ ｂａ ｅ ｎ ｍ ｌｉｃ ｌ ｏ ｈ ｓ ｔ ２ １ ．３４ ｏ：０３ ２／ Ｐ Ｊ １８ ．０ ０ ２ ３ １
基 于 多尺 度 粗 糙 集模 型 的决 策 树 优 化 算 法
陈家俊 ，苏守宝 ， 华丽 徐
（ 皖西学 院 信息工程学院 ， 安徽 六安 ２ ７ １ ） ３ ０ ２
（ｈ ｎ ＠ Ｗ Ｃ ｅｕ ｃ） ｃｅｊ ｊ Ｘ．ｄ ． ａ
摘
要 ： 对经典决策树算 法构造 的决策树 结构复杂、 针 缺乏对噪 声数据适应 能力等局 限性 ， 于多尺度粗糙 集模 基
型提 出一种新 的决策树 构造 算法。算法引入尺度 变量和尺度 函数概 念 ， 用不 同尺度 下近似分 类精 度选择测试属性 采 构造决策树 ， 用抑制 因子对决策树进行修 剪， 使 有效地去 除了噪 声规则 。结果表 明该算 法构 造的决策树 简单有效 ， 对 噪声数据有一 定的抗 干扰性 ， 能满足 ： 且 不同用户对决策精度的要 求。 关键词 ： 决策树 ； 多尺度粗糙 集模 型 ； 近似 分类精度 ； 抑制 因子 ； 噪声数据
（ ｃｏｌｆＩ ｏｍ ｔ ｎＥ ｇｎｅ ｎ，Ｗ ｓＡ ｈ ｉ ｎｖｒｔ ｕ ａ ｎ ｕ ２ ７ １， ｈｎ ） Ｓｈｏ ｆｒ ａｉ ｎ ｉｅｒ ｇ ｅｔ ｎ ｕ Ｕ ｉ ｓｙ ｏ ｎ ｏ ｉ ｅ ｉ，Ｌ ’ｎＡ ｈｉ ３０ ２ Ｃ ｉａ
ａ ｐ ｏ ｉ ｔ ｃａ ｓ ｉａ ｉｎ ａ ｃ ｒ ｃ ｎ ｄｆ ｒ ｎ ｃ ｅ ｓ ｕ ｅ ｏ ｓ ｌｃ ｅ ｔ ａｔ ｂ ｔ ｓ ａ ｄ ｔ ｅ ｈ ｌ — ｏ ｎ ｆ ｃｏ ａ ｕ ｐ ｒ ｘｍａｅ ｌｓ ｉ ｃ ｔ ｃ ｕ ａ ｙ ｉ ｉ ｅ ｅ ｔ ｓ ａ ｓ ｗａ ｓ ｄ ｔ ｅ ｅ ｔ ｔ ｓ ｔ ｕ ｅ ｎ ｈ ｏ ｄ ｄ ｗ ａ ｔｒ ｗ ｓ ｐ ｔ ｆ ｏ ｌ ｒ ｉ
中图分类号 ： Ｐ ８Ｔ ３ １ １ Ｔ １ ；Ｐ １ ．３ 文献标 志码 ： Ａ
Ｄｅ ｉｉ ｎ ｔ ｅ ｐ ｉ ｉ ａ ｉ ｎ ａ ｇ ｒ ｔ ｓ ｄ ｏ ｕ ｔｓ ａ ｅ ｒ ｕｇ ｅ ｏ ｅ ｃｓｏ ｒ ｅ ｏ ｔｍ ｚ ｔｏ ｌ ｏ ｉｈｍ ｂａ ｅ ｎ ｍ ｌｉｃ ｌ ｏ ｈ ｓ ｔ ２ １ ．３４ ｏ：０３ ２／ Ｐ Ｊ １８ ．０ ０ ２ ３ １
基 于 多尺 度 粗 糙 集模 型 的决 策 树 优 化 算 法
陈家俊 ，苏守宝 ， 华丽 徐
（ 皖西学 院 信息工程学院 ， 安徽 六安 ２ ７ １ ） ３ ０ ２
（ｈ ｎ ＠ Ｗ Ｃ ｅｕ ｃ） ｃｅｊ ｊ Ｘ．ｄ ． ａ
摘
要 ： 对经典决策树算 法构造 的决策树 结构复杂、 针 缺乏对噪 声数据适应 能力等局 限性 ， 于多尺度粗糙 集模 基
型提 出一种新 的决策树 构造 算法。算法引入尺度 变量和尺度 函数概 念 ， 用不 同尺度 下近似分 类精 度选择测试属性 采 构造决策树 ， 用抑制 因子对决策树进行修 剪， 使 有效地去 除了噪 声规则 。结果表 明该算 法构 造的决策树 简单有效 ， 对 噪声数据有一 定的抗 干扰性 ， 能满足 ： 且 不同用户对决策精度的要 求。 关键词 ： 决策树 ； 多尺度粗糙 集模 型 ； 近似 分类精度 ； 抑制 因子 ； 噪声数据
一个基于粗糙集和决策树的最简分类规则集生成算法
一
个 基 于 粗 糙 集 和 决 策 树 的 最 简 分 类 规 则 集 生 成 算 法
孙 长 嵩 ， 西 国 ， 健 沛 董 张
（ 尔滨 Ｘ程 大 学 计 算机科 学与技 术 学院 ， 龙 江 哈 尔滨 哈 － ． 黑 １０ ０ ） ５０ １
摘
要 ： 用 粗 糙 集 理 论 中 属 性 核 与 不 可 分 辨 关 系 给 出 了 属 性 约 简 和 数 据 过 滤 算 法 ， 除 信 息 系 统 中 与 决 策 无 利 去
Ａ ｌ ｏ ｉｈ ｓ ｄ ｏ Ｒｏ ｈ ｔ ａ ｅ ｉｉ ｎ Ｔｒ ｅ ｇ ｒ ｔ ｍ Ｂａ ｅ ｎ ｕｇ Ｓｅ ｎｄ Ｄ ｃ ｓｏ ｅ ｔ ａ ｎ Ｍ ｉ ｉ ａ ａ ｓｎｇ Ｒ ｕ ｅ Ｓ ｔ ｏ Ｇ ｉ ｎ ｍ ｌ Ｃｌ ｓ ｉ ｌ ｅ
Ｓ ＵＮ ａ ｇ ｓ ｎ ，ＤＯＮＧ — ｕ Ｃｈ ｎ － ｏ ｇ Ｘｉ ｇ ｏ，ＺＨＡＮＧ ｉｎ ｐ ｉ Ｊａ — ｅ
关 的冗余 信 息． 简化 的信 息 系统 基 础上 用传 统算 法 构造 决 策 树 ， 利用 由粗 糙 集 理 论 推 出 的极 小 、 大 化 学 在 并 极 习方法 对决 策树 规 则进行 极小 、 大 化 处理 ． 后 给 了一 个最 简分 类规 则 集生 成算 法 ． 极 最
关 键 词 ： 据 挖 掘 ； 糙 集 ； 策 树 ； 类 规 则 数 粗 决 分 中 图 分 类 号 ：Ｐ ９ 文 献 标 识 码 ： 文 章 编 号 ：０ ６— ０ ３ ０ ２ ０ ０ ８ ０ Ｔ３７ Ａ １０ ７ ４ ｆ ０ ） ５— ０ ７— ５ ２
ｄ ｅ ｓ ｄ ｉ ｈ ｉ ｈ ｆｔ ｔｏ ｆｒ ｄ ｔｏ ｒ ｍ ｏ ｇ ｅ ｎｄ ａ ｅ ｕ ｅ ｏ ｄ ａ ｔ ｅ ｉｉ ｎ ｔｅ ｕｌ ｓ ． Ａｎ ｒ ｓ ｅ ｎ ｔ ｅ ｌｇ ｔｏ ｈｅ ｎｏｉ ｎ ｏ ｅ ｕｃ ｉ ｎ ｆｏ ｒ ｕ ｈ ｓ ｔａ ｒ ｓ ｄ ｔ ｅ ｌｗｉｈ ｄ ｃ ｓｏ ｒ ｅ ｒ ｅ ａｇ ｒｔ ｌ ｏ ｈｍ ｏ ｇ ｉ ｉ ｍａ ｌ ｓ ｉ ｇ ｒ ｌ ｅ ｓ ｐ ｏ ｏ ｅ ｔｔ ｅ ｅ ｆｔ ｅ ｐａ ｅ ． ｉ ｔ ａ ｎ ｍ ｎｉ ｌｃ ａ ｓｎ ｅ ｓ ｔｉ ｒ ｐ ｓ ｄ ａ ｈ ｎｄ ｏ ｈ ｐ ｒ ｕ Ｋ ｅ ｏ ｄｓ： ａ ａ ｍ ｉ ｉ ｙｗ ｒ ｄ ｔ ｎ ｎｇ； ｒ ｕｇ ｅ ； ｄｅ ｉ ｉｎ ｔｅ ｏ ｈ ｓｔ ｃｓｏ ｒ ｅ；ｃ ａ ｓｎｇ ｒ ｌ ｌｓｉ ｅ ｕ
一个基于粗集的决策树规则提取算法
的有用规则 。
粗糙集理论 ［４ 波兰 科学 家 Ｐ ｗａ ． ３ ，是 Ｊ ａ ｌ Ｚ在 １８ ｋ ９２ 年提 出的对不完整数据进行 分析 、 推理 、 习、 学 发现 的 新方法 ， 借鉴 了逻辑学 和哲学 中对不精确 、 模糊 的各种 定义 ， 针对信息的不同分类模型 ， 出不精确范畴 等概 提 念， 为处理模糊 信息系统或不 确定性 问题提供 了一种 新型的数学工具 ， 它不仅能够解 决传统 的数据 分析方 法如决策树法不能解决 的粗糙 集数 据 ， 到传统方法 得 如神经 网络得不到的较高精度 规则 ， 而且能发 现属性 之间的依 赖关 系并 对所 得 的结果进 行 简 明易懂 的解 释。该理论 已广泛应 用于信息 处理 据挖掘 等认知 数
ｄｔ ｎ ｌ１ ３ａｇ ｒｔ ，ｔＳｓ ｌｒｉ ｈ ｔｕ ｔ ｒ ，ｎ ｃ ｎ ｉ ｒｖ ｈ ｆｉｉ ｃ ｆｃａｓｆ ａｉｎ ｉｉ ａ １ ｌｏ ｉ ｏ ３ ｍ ｈ ｉ’ ｉ ｅ ｔ ｅｓｒ ｃｕ ｅ ａｄ ａ ｍｐ ｎ ｍｐ ｏ ｅｔ ｅｅｆ ｅ ｙ ｏ ｌｓｉｃ ｔ ． ｃｎ ｉ ｏ
ｄｅｅ ｄｎ ｅｂ ｓｄｏ ｐ ｎ ａ ｃ ａ ｅ ｎｍ ｎ ｈｓｔ Ｕｓｎ ｔ ｓａｇ ｒ ｈ ，ａ ｘｒｃ ｒ ｐｒ ｌ ｆｏ ｃａ ｆ ａｉｎｉ ｏｍａｉｎ ｓｅ ． ｏ ａｅ ｇ ｅ ． ｉ ｈｉ ｌｏ ｔ ｍ ｃｎｅ ｔａ ｔ ｉ ｕｅ ｒｍ ｌｒｉｃ ｔ ｇ ｉ ｃｓ ｓ ｉ ｏ ｎｆｒ ｔ ｓ ｔｍ Ｃ ｍｐ ｒ ｄｗｉ ｈ ｒ． ｏ ｙ ｔ ｈｔ ｅｔａ
ｒａｉ ｈ ｏｙ ｍｅｓ ｒ ． ｅｅ ｔｅａｎ ｗ ｌｏ ｔｍ ｏ ｌｒｉｉ ｔ ｎｒ ｌ ｘ ｒｃｉｎ ｂ ｈ ｏ ｉ ｔｒｂ ｔ ｆｉ ｏｔｎ ｅｏ ｔｒｂ ｔ ｎ ｎ ｔ ｔ ｅ ｒ ａｕ ｅ Ｐｒｓｎ ｅｌ ｅ ａｇ ｒ ｈ ｆｒｃａ ｆｃ ｉ ｅ ｅ ｔａ ｔ ｙ ｃ ｏ ｓｎ ａｔｉｕｅ ｏ ｎ ｏ ｉ ａ ｏ ｏ ｓ ｏ ｇ ｓ ｍｐ ｒａ ｃ ｆａｔ ｕｅ ａ ｄ ｉ ｓ
粗糙集理论 ［４ 波兰 科学 家 Ｐ ｗａ ． ３ ，是 Ｊ ａ ｌ Ｚ在 １８ ｋ ９２ 年提 出的对不完整数据进行 分析 、 推理 、 习、 学 发现 的 新方法 ， 借鉴 了逻辑学 和哲学 中对不精确 、 模糊 的各种 定义 ， 针对信息的不同分类模型 ， 出不精确范畴 等概 提 念， 为处理模糊 信息系统或不 确定性 问题提供 了一种 新型的数学工具 ， 它不仅能够解 决传统 的数据 分析方 法如决策树法不能解决 的粗糙 集数 据 ， 到传统方法 得 如神经 网络得不到的较高精度 规则 ， 而且能发 现属性 之间的依 赖关 系并 对所 得 的结果进 行 简 明易懂 的解 释。该理论 已广泛应 用于信息 处理 据挖掘 等认知 数
ｄｔ ｎ ｌ１ ３ａｇ ｒｔ ，ｔＳｓ ｌｒｉ ｈ ｔｕ ｔ ｒ ，ｎ ｃ ｎ ｉ ｒｖ ｈ ｆｉｉ ｃ ｆｃａｓｆ ａｉｎ ｉｉ ａ １ ｌｏ ｉ ｏ ３ ｍ ｈ ｉ’ ｉ ｅ ｔ ｅｓｒ ｃｕ ｅ ａｄ ａ ｍｐ ｎ ｍｐ ｏ ｅｔ ｅｅｆ ｅ ｙ ｏ ｌｓｉｃ ｔ ． ｃｎ ｉ ｏ
ｄｅｅ ｄｎ ｅｂ ｓｄｏ ｐ ｎ ａ ｃ ａ ｅ ｎｍ ｎ ｈｓｔ Ｕｓｎ ｔ ｓａｇ ｒ ｈ ，ａ ｘｒｃ ｒ ｐｒ ｌ ｆｏ ｃａ ｆ ａｉｎｉ ｏｍａｉｎ ｓｅ ． ｏ ａｅ ｇ ｅ ． ｉ ｈｉ ｌｏ ｔ ｍ ｃｎｅ ｔａ ｔ ｉ ｕｅ ｒｍ ｌｒｉｃ ｔ ｇ ｉ ｃｓ ｓ ｉ ｏ ｎｆｒ ｔ ｓ ｔｍ Ｃ ｍｐ ｒ ｄｗｉ ｈ ｒ． ｏ ｙ ｔ ｈｔ ｅｔａ
ｒａｉ ｈ ｏｙ ｍｅｓ ｒ ． ｅｅ ｔｅａｎ ｗ ｌｏ ｔｍ ｏ ｌｒｉｉ ｔ ｎｒ ｌ ｘ ｒｃｉｎ ｂ ｈ ｏ ｉ ｔｒｂ ｔ ｆｉ ｏｔｎ ｅｏ ｔｒｂ ｔ ｎ ｎ ｔ ｔ ｅ ｒ ａｕ ｅ Ｐｒｓｎ ｅｌ ｅ ａｇ ｒ ｈ ｆｒｃａ ｆｃ ｉ ｅ ｅ ｔａ ｔ ｙ ｃ ｏ ｓｎ ａｔｉｕｅ ｏ ｎ ｏ ｉ ａ ｏ ｏ ｓ ｏ ｇ ｓ ｍｐ ｒａ ｃ ｆａｔ ｕｅ ａ ｄ ｉ ｓ
一种基于粗糙集理论的ROUSTIDA改进算法
维普资讯
第 １ ６卷 第 ３期
２ ０ ０ ８年 ６月
电
脑
与
信 息 技 术
Ｖ １１ ｏ３ ０ ．６ Ｎ ．
Ｃｏ ｕ ｅ ｎ Ｉｆ ｒ ｔ ｎ ｅ ｈ ｏｏ＇ ｍｐ ｔｒ ａ ｄ ｎｏ ｍａ ｏ Ｔ ｃ ｎ ｌ￣ ｉ ｖ
ＣＨＥＮ ， Ｋｅ ＸＵＡＮ ｏｎ —ｈａ ｇ Ｚｈ ｇ ｎ
（ｕｈ ｕＶ ｃｔ ｎｌ ｉｅ ｉ ， ｕｈ ｕ Ｊ ｎ ｓ １ １４Ｃ ｉａ Ｓ ｚｏ ｏ ａｏ ａＵｎｖｒｔ Ｓ ｚｏ ，ｉ ｇｕ２５ ０ ，ｈｎ） ｉ ｓｙ ａ
Ａｂｓ ｒ ｃ ： ｓ ｄ ａｌ ｎｃ ｐｅｅ ｄａａ ａ ａｙｉ ｍｅ ｈ ｏｆｔ ｅ ｒ ｇ ｓ ｔ ｈｅ ｒ ａ ｈ ｄｓ ｎｇ ｉｈ ａｒｘ ｉｎ ｆｒ ａｄ ｔ ａ ｔ Ｂａｅ ｏｎ ｌ ｉ ｏｍ ｌｔ ｔ ｎ ｌｓｓ ｔ ｏｄ ｈ ｏｕ ｈ ｅ ｔ ｏ ｙ ｎｄ ｔ ｅ ｉｔ ｕｓ ｍ ｔ ，ｂｒ ｇ ｏ ｗ ｒ ｉ ｉ ａ ｍ ｐｒ ｖ ｄ Ｒ Ｏ Ｕ Ｓ ＤＡ ｌｏ ｉｈ ．Ｔｈ ｔｍ ｅｈｏ ｃ ｉ ｍ ａ ｅ ｕ ｅ ｎｉ ｏｅ ＴＩ ａｇ ｒｔ ｍ ａ ｔ ｄ ａ１ ｋ ｓ ｏｆｉ ｏ ｍ ａ ｏｎ ｓ ｓｅ ｉ ｈ ｒ ｇ ｌｔ ｅ ｅ ｔ ｄ ｂ ｄ ｔ， ｎｆ ｒ ｔ ｙｔ ｍ ｎ ｔ ｅ ｅ ｕａ ｏｎ ｒ ｆ ｃｅ ｙ ａａ ｉ ｉ ｌ
ｍ 是属性集 ， ＝ｘ ＝ ， ， ） ） Ｕ ｛ｌ ｌ２ …ｎ是论域 ， （ ） ｊ ｊ ａ ｘ 是对象 ｘ ｉｊ ｊ
按规律判断为缺失的数据进行必要 的补充 ，以形成相 对完整的原始集 ，为进一步准确地实行决策与控制提
供 基础 。
在属性 ａ上的取值。Ｍ ｉ ） ｉ （， 表示经过扩充 的可辨识矩 ｊ 阵中的第 ｉ 行第 ｊ 列元素， 则经过扩充的可辨识矩阵 Ｍ
第 １ ６卷 第 ３期
２ ０ ０ ８年 ６月
电
脑
与
信 息 技 术
Ｖ １１ ｏ３ ０ ．６ Ｎ ．
Ｃｏ ｕ ｅ ｎ Ｉｆ ｒ ｔ ｎ ｅ ｈ ｏｏ＇ ｍｐ ｔｒ ａ ｄ ｎｏ ｍａ ｏ Ｔ ｃ ｎ ｌ￣ ｉ ｖ
ＣＨＥＮ ， Ｋｅ ＸＵＡＮ ｏｎ —ｈａ ｇ Ｚｈ ｇ ｎ
（ｕｈ ｕＶ ｃｔ ｎｌ ｉｅ ｉ ， ｕｈ ｕ Ｊ ｎ ｓ １ １４Ｃ ｉａ Ｓ ｚｏ ｏ ａｏ ａＵｎｖｒｔ Ｓ ｚｏ ，ｉ ｇｕ２５ ０ ，ｈｎ） ｉ ｓｙ ａ
Ａｂｓ ｒ ｃ ： ｓ ｄ ａｌ ｎｃ ｐｅｅ ｄａａ ａ ａｙｉ ｍｅ ｈ ｏｆｔ ｅ ｒ ｇ ｓ ｔ ｈｅ ｒ ａ ｈ ｄｓ ｎｇ ｉｈ ａｒｘ ｉｎ ｆｒ ａｄ ｔ ａ ｔ Ｂａｅ ｏｎ ｌ ｉ ｏｍ ｌｔ ｔ ｎ ｌｓｓ ｔ ｏｄ ｈ ｏｕ ｈ ｅ ｔ ｏ ｙ ｎｄ ｔ ｅ ｉｔ ｕｓ ｍ ｔ ，ｂｒ ｇ ｏ ｗ ｒ ｉ ｉ ａ ｍ ｐｒ ｖ ｄ Ｒ Ｏ Ｕ Ｓ ＤＡ ｌｏ ｉｈ ．Ｔｈ ｔｍ ｅｈｏ ｃ ｉ ｍ ａ ｅ ｕ ｅ ｎｉ ｏｅ ＴＩ ａｇ ｒｔ ｍ ａ ｔ ｄ ａ１ ｋ ｓ ｏｆｉ ｏ ｍ ａ ｏｎ ｓ ｓｅ ｉ ｈ ｒ ｇ ｌｔ ｅ ｅ ｔ ｄ ｂ ｄ ｔ， ｎｆ ｒ ｔ ｙｔ ｍ ｎ ｔ ｅ ｅ ｕａ ｏｎ ｒ ｆ ｃｅ ｙ ａａ ｉ ｉ ｌ
ｍ 是属性集 ， ＝ｘ ＝ ， ， ） ） Ｕ ｛ｌ ｌ２ …ｎ是论域 ， （ ） ｊ ｊ ａ ｘ 是对象 ｘ ｉｊ ｊ
按规律判断为缺失的数据进行必要 的补充 ，以形成相 对完整的原始集 ，为进一步准确地实行决策与控制提
供 基础 。
在属性 ａ上的取值。Ｍ ｉ ） ｉ （， 表示经过扩充 的可辨识矩 ｊ 阵中的第 ｉ 行第 ｊ 列元素， 则经过扩充的可辨识矩阵 Ｍ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
０ 引 言
粗糙集理论作为处理各种不完备信息的有效工
具， 一方 面 由于它 的数 学 基础 成 熟 且 不 需 要先 验 知
本文 以粗糙 集 和 数 据挖 掘 理 论 为 出发点 ， 将数 据挖 掘 中的决 策树 技术 与粗糙 集 理论进 行 了有机 的
结合 ， 提出了一种基于粗糙集技术的决策树算法 ， 该
称 为论 域 ， ＝Ｃ Ｕ Ｄ是 属性集 合 ， 子集 ｃ称 为条 件 属性 ， 子 集 Ｄ称 为结果 属性集 ， ＝Ｕ 是 属性
ｒ ∈ Ｒ
差， 难 以发现有用 的规则。将粗糙 集与决策树结合 起来 ， 首先 ， 利用粗糙集进行属性约简 ， 去除冗余属
性， 然后 ， 利用决策树方法构建决策树 ， 产生分类规
２ ０ １ ３ 年 ６ 月
廊 坊师范学院学报（ 自然科学版 ）
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｌ ａ ｎ ｇ ｆ ａ ｎ ｇ Ｔ ｅ ａ ｃ ｈ ｅ ｒ ｓ Ｃ ｏ Ｈ ｅ ｇ ｅ （ Ｎ ａ ｔ ｕ ｒ ｌ ａ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｅ ｄ ｉ ｔ ｉ ｏ ｎ ）
ｔ ｒ ｅ ｅ ｏ ｆ ｄ ａ ｔ ａ ｍｉ ｎ ｉ ｎ ｇ ． Ｔｈ ｉ ｓ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｓ ａ ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｔ ｒ ｅ ｅ ｒ ｅ ｃ ｕ ｒ ｓ ｉ ｖ ｅ ｌ ｙ ｂ ｙ ｃ ｌｃ ａ ｕ ｌ ａ ｔ ｉ ｎ ｇ ｔ ｈ ｅ ｉ ｍｐ ｏ ｒ ｔ ａ ｎ ｃ ｅ ｏ ｆ ｐ ｒ ｏ ｐ ｅ ｒ ｔ ｉ ｅ ｓ ｏ ｆ ｔ ｈ ｅ
法。该算法通过将计算属性相对于划分 的重要度作为选 择扩展 属性根 结点 的标 准 ， 递９ ３ － 地 生成决策 树， 可 以克服 Ｉ Ｄ ３算法偏 向于选 择取值 较多的属性的不足。
【 关键 词】 粗糙集 ； 属性重要度 ； 决策树
Ｔｈｅ Ａｐ ｐｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ａｔ ｔ ｒ ｉ ｂ ｕｔ ｅ Ｒｅ ｄ ｕ ｃ ｔ ｉ ｏ ｎ Ｂａ ｓ ｅ ｄ ｏ ｎ Ｒｏ ｕ ｇ ｈ Ｓ ｅ ｔ ｉ ｎ Ｈｉ ｇ ｈ ｅ ｒ Ｅｄ ｕ ｃ ａ ｔ ｉ ｏ ｎ Ａｓ ｓ ｅ ｓ ｓ ｍｅ ｎ ｔ
则， 最终可 以形成新 的分类方法。
取值集合 ， ， 表示属性 ｒ ∈ 的属性值范围， 即属 性 ｒ 的值域 ， 厂 ： Ｕ×Ｒ— 是一个信息函数 。 ２ ］
［ 收稿 日期］ ２ ０ １ ３ — ０ ４ — ０ ２ ［ 作者简介］ 吴学辉 （ １ ９ ７ ８ 一 ） ， 男， 硕士 ， 运城学院计算机科学与技术系讲师 ， 研究方 向 ： 数据挖掘 。
ｘｕ ｅ － ｈ ｕ
【 Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ 】 Ａ ｔ ｅ ｍ ｏ ｔ ｈ ｏ ｄ ｔ ｏ ｄ ｅ ｓ ｉ ｇ ｎ ｔ ｈ ｅ ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｔ ｒ ｅ ｅ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｒ ｏ ｕ ｇ ｈ ｓ ｅ ｔ ｉ ｓ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ｂ ｙ ｃ ｏ ｍ ｂ ｉ ｎ ａ ｔ ｉ ｎ ｇ ｒ ｏ ｕ ｇ ｈ ｓ ｅ ｔ ａ ｎ ｄ ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ
ｖ ａ ｌ ｕ ｅ ｓ ．
【 Ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ 】 ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｔ ｒ ｅ ｅ ； ｒ ｏ ｕ ｇ ｈ ｓ ｅ ｔ ； ａ ｔ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｉ ｍ ｐ ｏ ｒ ｔ ａ ｎ ｃ ｅ
［ 中图分类号 ］Ｔ Ｐ １ ８ ［ 文献标 识码 ］Ａ ［ 文章编号］１ ６ ７ ４—３ ２ ２ ９ （ ２ ０ １ ３ ） ０ ３— ０ ０ ３ ３ —０ ４
Ｊ ｕ ｎ． ２ ０１ ３
Ｖｏ １ ． １ ３ Ｎｏ ． ３
第１ ３ 卷 第 ３期
一
种 改进 的基 于粗 糙 集 的决 策 树 算 ０ ０ ０ ）
【 摘
要 】 将数据挖掘 中的决策树与粗糙 集理论 进行 了有机 结合 ， 提 出了一种基 于粗糙 集技 术 的决 策树 构造 算
ｒ ｅ ｌ ａ ｔ ｉ ｖ ｅ ｄ ｉ ｖ ｉ ｓ ｉ ｏ ｎ． Ｔｈ ｅ ｌｇ ａ ｏ ｒ ｉ ｔ ｈ ｍ ｃ ａ ｎ ｏ ｖ ｅ ｒ ｃ ｏ ｍｅ ｓ ｏ ｍｅ ｓ ｈ ｏ ｒ ｔ ｃ ｏ ｍｉ ｎ ｇ ｓ ｏ ｆ Ｉ Ｄ３ ｌｇ ａ ｏ ｉ ｒ ｔ ｈ ｍ ｗｈ ｉ ｃ ｈ ｔ ｅ ｎ ｄ ｅ ｄ ｔ ｏ ｃ ｈ ｏ ｏ ｓ ｅ ｍｏ ｒ ｅ ｐ ｒ ｏ ｐ ｅ ｒ ｔ ｙ
扩展属性根结点的标准 ， 并递归地生成决策树。该
算法 可 以克 服 Ｉ Ｄ ３算 法 偏 向 于 选 择 取 值 较 多 的属
性 的不 足 。
１ 粗糙集理论相关概念
定义 １ 一个 信息 表 的知识 表达 系统 Ｓ可 表示
为： Ｓ ＝＜ Ｕ， Ｒ， Ｖ ， ｆ＞。 其中 ： 是对象集合 ， 也
算 法 通过将 计算 属性 相对 于划 分 的重要 度作 为选 择
识； 另一方面在于它的易用性。粗糙集在消除冗余
信息 、 处 理 大数据 集等 方 面也有 其特 殊 的优势 ， 所 以 应 用于数 据 挖掘 阶段 的数据 预处 理 、 属性 约简 等 ， 但 是 它 的分 类 缺乏交 互 验证 功能 ， 因此 ， 分类 结果 不够 稳定 ， 精 度也 不 高 。 ＿ １ 决 策 树 方法 具 有 分类 精 度 高 、 生成 的模 式 简单 、 对 噪声 数据 有很 好 的健壮 性 ， 但是 当数 据集 中的属性 过 多 时 ， 生 成 的 决 策树 结 构 性 较