泛在知识环境中数据挖掘技术进展分析

识获取能力及应用， 受到学术界和企业界的广泛关 注。虽然， 来自不同学科领域的专家学者从多个角 度对数据挖掘进行了探索， 然而， 当前人们对于数据 挖掘的内涵、 发展规律等问题的认识仍存在着歧义 性与争议性， 直接影响到这一学科领域的进一步发 展。基于此， 本文在有关调研分析的基础上， 探讨数 据挖掘技术的本质要素及发展规律。
7#28*’9%
PDXD CAIAIJ，AIXV==AJVIX AIF<@CDXA<I ?@<NVSSAIJ，WI<[=VPJV CAIAIJ
泛在知识环境 （ /YAZUAX<US ^I<[=VPJV 6I\A@<IB ） 作为人类知识存取的新环境， 是随着数字图书 CVIX 馆和 _VY)M% 网 络 深 度 发 展 及 应 用 而 产 生 的 新 事 物。美国国家自然科学基金会在 )%%’ 年 L 月召开 的 “后数字图书馆的未来” 研讨会上所发表的趋势研 究报告 《^I<[=VPJV 2<SX AI !IF<@CDXA<I》 （知识在信息中
［(］
据库技术结合的产物， 在其研究与实践过程中， 人们 逐步融合人工智能、 智能信息处理、 语义 *+, 等技 术， 不断提高了模拟人类智能的层次， 促进了数据挖 掘技术的进一步智能化发展。 数据挖掘研究与应用初期， 主要使用统计分析 方法实现分类、 聚类、 预测等挖掘功能。统计分析主 要包括回归分析、 贝叶斯方法、 判别分析、 聚类分析 等。例如， 著名的 -.-、 -/-- 和 -#"0’0"12%3 等统计软 件的数据挖掘功能均建立在统计方法之上。这些方 法已广泛应用并解决了许多实际问题， 但其主要定 位于统计型数据特征， 因而存在着先天不足， 不能对 概念层面中的变量及其联系进行描述和解释。 机器学习是数据挖掘的主流技术， 主要包括归 纳学习 （决策树、 规则归纳等） 、 类比学习、 基于案例 推理的学习、 遗传算法、 贝叶斯信念网络等方法， 已 经用于关联规则、 分类4 聚类模型、 序列模式等模式 发现中并取得了丰硕成果。但是， 机器学习多适用 于结构化数据源， 对于大规模数据和非结构化数据 使用效果不佳。 随着数据挖掘研究及应用的深入发展， 引入了 智能信息处理技术。智能信息处理是人工智能技术 与信息技术结合的产物， 广泛地模拟人的智能来处 理各种复杂信息， 包括非结构化信息、 海量信息、 不 完全信息、 不确定信息、 模糊信息、 多媒体信息、 时间 空间信息、 认知信息以及知识信息。智能信息处理 技术与方法主要有数学统计、 模糊信息处理、 粗糙集 信息处理、 神经网络信息处理和进化计算， 还有基于 信息与知识管理的大规模智能信息处理技术， 如信 息分析、 分类、 智能检索、 智能搜索等。这些技术的 思想与算法为数据挖掘的发展提供了新的思路， 对 于传统统计分析和机器学习技术难以处理和无法处 理的问题， 特别是对高维非线性随机、 动态或混沌系 统行为的分析及预测实现了有效的处理。
(
泛在知识环境的客观需求
)
数据挖掘智能化进展
数据挖掘源自人工智能领域， 是机器学习与数 泛在知识环境是一种由网络设施、 硬件、 软件、 信息系统、 信息资源和人等资源组成的普遍存在的、 综合性的知识环境。它具有信息自组织、 交流自主 化以及知识社会化等特征， 体现出以人为本的互联 网精神， 实现着无所不在的知识存取与交流。泛在 知识环境下， 专家、 用户和信息管理者都可以是信息 的提供者或消费者， 他们在长期的互动交流过程中 产生了很多鲜活乃至另类体验的网络原生态信息， 涵盖了外化于人的显性客观知识和内在于人的隐性 主观知识， 使得传统的信息资源网络向语义知识网 络转变， 促进信息管理向知识管理发展。 网络环境的知识化， 一方面为知识开发与利用 提供了丰富的知识资源； 另一方面， 促进了学科及技 术的相互交融、 相互促进发展， 引起了知识获取、 知 识组织、 知识管理等知识处理理论及技术的深刻变 革。泛在知识环境中的信息资源， 蕴含的知识丰富、 内容复杂， 且通常具有高维、 海量、 异构、 异质、 动态 等特征。传统的信息采集、 机器学习、 数据挖掘等知 识获取技术， 已经难以满足大规模、 高质量、 深层次 知识获取的需要。 数据挖掘 ， 也称知识发现， 是指从大量不完全 的、 有噪声的、 模糊的和随机的数据中， 提取隐含的、 未知的、 潜在有用的信息和模式的过程。数据挖掘 的研究及成功应用已为社会创造了巨大经济效益， 给企业和社会经济的各个方面带来了根本性的变 革。但是， 面对泛在知识环境的知识获取需求， 数据 挖掘技术的发展也面临着许多问题。主要表现在： ! 海量复杂的挖掘对象增加了挖掘难度； " 数据 挖掘方法与技术仅实现了信息层面的浅层知识获 取， 缺乏语义处理能力， 模拟人的智能信息处理能力 十分有限， 难以实现语义层面的知识挖掘； # 挖掘 结果和挖掘过程的表达机制不完善， 可视化、 可理解 的程度低。这些问题严重影响了数据挖掘技术的知
关键词
数据挖掘
智能信息处理
知识挖掘
!"# $#%#&’(" )’*+’#%% *, -&.& /0,0,+ !#(",*1*+2 0, 340560.*6% 7,*81#9+# :,;0’*,<#,.
THDIJ 8UFVIJ，5U 3VIJ DIP 9<IJ -ADIFVIJ
（ !"#$"% &’% ($)*+", ’& -#&’%./$+’# 0",’)%1", ’& 2)3/# 4#+5"%,+$6 ，2)3/# ,’%%+)）
泛在知识环境中数据挖掘技术进展分析
在海量静态信息与知识资源， 还拥有参与者的大量 动态知识。如何从这些海量、 丰富的信息资源中挖 等知 掘出有价值的知识， 对数据挖掘 （ !"#" $%&%&’） 识获取技术提出了新的挑战， 也是实现知识创新和 知识服务急需解决的关键问题。本文针对泛在知识 环境的特征和知识获取需求， 着重从数据挖掘的智 能水平、 挖掘层次、 发展要素三个方面来研究其发展 规律。
!""# $%%% & %$’( 第 )* 卷 第 ) 期 )%) & )%+ ， )%$% 年 , 月
情报学报
-./0#12 .3 456 75!#1 ".7!648 3.0 "7!6#4!3!7 1#9 4675#!712 !#3.0:14!.# !""# $%%% & %$’( ;<= > )* #<> ) ， )%) & )%+ 1?@A= )%$%
迷失） 中， 首次提出了泛在知识环境的概念， 此后便 成为数字图书馆、 信息资源管理、 计算机、 人工智能 等多个领域的研究热点。 以 _VY)M% 和 语 义 _VY 为 代 表 的 泛 在 知 识 环 境， 使互联网成为一种全球化的汇集大众智慧、 可供 用户交流知识的共享平台。泛在知识环境中不仅存
泛在知识环境中数据挖掘技术进展分析 $）
张玉峰 胡 凤 董坚峰
（武汉大学信息资源研究中心， 武汉 ,’%%+)）
摘要
本文针对泛在知识环境的特征和知识获取需求， 重点从数据挖掘的智能演化、 挖掘层次、 发展要素三个
主要方面进行调研分析， 探讨了数据挖掘的本质要素及规律， 指出基于智能语义处理的知识挖掘是数据挖掘发展 的必然趋势。本文进一步提出， 将人工智能领域的智能信息获取技术与知识管理领域的大规模语义知识处理技术 相结合， 构建语义知识表示、 分析、 检索、 推理、 挖掘等一体化的知识挖掘体系， 是实现大规模知识获取和提升其智 能水平的有效途径。
［2］ 提出将模糊 5$6 智能技术用于 78&"* 9&":;’"* 等 ［4］ 模糊 5$6 数据挖掘系统。 5&"* <’=(、 提出 >?@’?A?
行基于词语处理的语法层面的挖掘， 主要对结构化 数据信息实现关联分析、 分类、 聚类、 时序演变分析、 预测等挖掘功能。泛在知识环境中半结构化和非结 构化数据急剧增长， 尤其是非结构化的自然语言文 本， 数量大、 内容丰富， 逐渐成为重要的挖掘对象。 然而， 语法层面的文本挖掘一般是把词语作为文本 的内容特征进行描述和处理， 这使得文本数据空间 通常能够达到上万维。传统的面向低维数据的挖掘 方法难以处理如此高维的数据。对于某些挖掘算 法， 数据维数的增加导致计算时间和空间复杂度的 急剧增加。 从总体来看， 语法层面的数据挖掘研究主要侧 重于运用各种算法从局部的数据里发现模式， 实现 语法层面的词语信息处理， 缺乏对信息内容与价值 的开发。挖掘处理主要局限在静态描述逻辑的框架 内， 即数据与知识的描述都采用了属性:值的形式。 该描述方式不便于描述复杂的对象及其之间的本质 关系， 缺乏对语义信息和语用信息的表达及利用， 且 受自然语言理解技术及应用的限制， 使得挖掘效果 很不理想。因此， 基于词语处理的数据挖掘仅实现 了语法层面的浅层知识获取， 难以满足语义层面的 知识获取需求。 !"$ 基于语义网络的数据挖掘
— )65 —
情报学报
第 2M 卷第2期2O3 年 B 月国际信息处理联合会所组织的国际智能信息处 历届 理 （ !"#$%"&#’("&) !"#$))’*$"# !"+(%,&#’(" -%(.$//’"*） 会议均将数据挖掘作为重要的议题， 并出版了系列 论文 集。 国 际 智 能 信 息 系 统 研 究 组 （ !"#$))’*$"# 从 2334 年开始， 每年专门出版以 !"+(%,&#’(" 01/#$,/） “智能信息处理和 5$6 挖掘新趋势” 为题的评论集， 积极推动智能信息处理技术在数据挖掘中的应用。