Web数据挖掘综述.
数据挖掘中的数据分类算法综述
分析Technology AnalysisI G I T C W 技术136DIGITCW2021.021 决策树分类算法1.1 C 4.5分类算法的简介及分析C4.5分类算法在我国是应用相对较早的分类算法之一，并且应用非常广泛，所以为了确保其能够满足在对规模相对较大的数据集进行处理的过程中有更好的实用性能，对C4.5分类算法也进行了相应的改进。
C4.5分类算法是假如设一个训练集为T ，在对这个训练集建造相应的决策树的过程中，则可以根据In-formation Gain 值选择合理的分裂节点，并且根据分裂节点的具体属性和标准，可以将训练集分为多个子级，然后分别用不同的字母代替，每一个字母中所含有的元组的类别一致。
而分裂节点就成为了整个决策树的叶子节点，因而将会停止再进行分裂过程，对于不满足训练集中要求条件的其他子集来说，仍然需要按照以上方法继续进行分裂，直到子集所有的元组都属于一个类别，停止分裂流程。
决策树分类算法与统计方法和神经网络分类算法相比较具备以下优点：首先，通过决策树分类算法进行分类，出现的分类规则相对较容易理解，并且在决策树中由于每一个分支都对应不同的分类规则，所以在最终进行分类的过程中，能够说出一个更加便于了解的规则集。
其次，在使用决策树分类算法对数据挖掘中的数据进行相应的分类过程中，与其他分类方法相比，速率更快，效率更高。
最后，决策树分类算法还具有较高的准确度，从而确保在分类的过程中能够提高工作效率和工作质量。
决策树分类算法与其他分类算法相比，虽然具备很多优点，但是也存在一定的缺点，其缺点主要体现在以下几个方面：首先，在进行决策树的构造过程中，由于需要对数据集进行多次的排序和扫描，因此导致在实际工作过程中工作量相对较大，从而可能会使分类算法出现较低能效的问题。
其次，在使用C4.5进行数据集分类的过程中，由于只是用于驻留于内存的数据集进行使用，所以当出现规模相对较大或者不在内存的程序及数据即时无法进行运行和使用，因此，C4.5决策树分类算法具备一定的局限性。
数据挖掘中聚类算法研究综述
步骤三 ：根据当前簇 中心 （ 平均值 ） ， 将其 余对 象赋给距离最近的中心点所代表 的簇 ； 步骤 四 ：重新 计算每 个簇的平 均值 ； 步 骤 五 ：直 到 划 分 不 发 生 变 化 。 优点 Ｋ 平均算法 实现 起来比较简单 其计 算复杂度为 （ｋ ）其中ｎ ｎ ｔ， 为对象个 数 ， ｋ为聚类 个数 ， 为循环次数 ，它具有可扩 ｔ
Ｄ Ｓ ＡＮＥ 。 Ｂ Ｃ 等
组就代表一个聚 类 ，其 中 Ｋ≤ Ｎ。而且这
Ｋ 个 分 组 满 足 下 列 条 件 ： （ ）每 一 个 分 组 １
Hale Waihona Puke Ｋ一中心 点算法不采用 簇中对象的平 均 值 作 为 参 照 点 ， 是 选 用 簇 中位 置 最 中 而 心的点 （ 中心点 ）作为聚类的 中心 点。剩 余的对象根据其与代表点的距离分配给最 近 的 一 个 簇 。 然 后 反 复 地 寻 找 更 好 的 质
展性 。
它们更靠近簇的 中心 。它的时 间复杂度在 最坏情 况下为 ｎ ｌ ｇ 。ｏ ｎ。优点是 选择多个 代表 使得该算 法可 以适应非球状 的几何形 状， 簇的收缩或凝 聚可以有助于控制噪声
的影 响 ，同时 该 方 法 采 用 了随 机 抽 样 与 分 割相结合来提高效率 ， 对大型数据库有 良 好的收缩性。
（ ）Ｋ一平 均算法对噪 声和异常数据 ４ 非 常 敏 感 。因 为 这 类 数 据 可 能 会 影 响 到 簇 中对象的均值 。 １． ２ Ｋ－ＭＥ Ｉ Ｓ算法 （ ＤＯ Ｄ Ｋ一中心
点算法 ）
缺点。这种方法 的基本 思想是 ：只要一个 区域中的点的密度大过某 个阈值 ， 就把 它 加 到与之相近 的聚类 中去 。代表算 法有 ：
缺 点：Ｋ一 平均算 法有以下四个缺 点： （ ）Ｋ一平 均 算 法 只适 用 于 簇 中对 象 １
数据挖掘技术及应用综述
维普资讯
第 ２期（ 总第 ８ ９期） Ｎ． Ｓ Ｍ Ｎ ． ） ｏ Ｕ ｏ ９ ２（ ８
机 械 管 理 开 发
ＭＥ ＣＨＡＮＩ ＡＬ Ｃ ＭＡＮＡＧＥ ＮＴ ＭＥ ＡＮ Ｄ Ｄ ＥＶＥ Ｊ ＭＥ Ｉ ０Ｐ ＮＴ
２ｏ ０ ６年 ４月
Ａ ｒ２ ０ ｐ ．０ ６
“ 类正 被信 息淹 没 。 人 却饥 渴 于 知识 ．这是 １ ８ 年 ” ９２
趋势大师Ｊ ｎＮ ｉ ｉ的首部著作 《 ｏ ａ ｂｔ ｈ ｓ ｔ 大趋势》 Ｍ ｇ． （ ｅａ
ｔ ｎｓ中提 到的 。 ｒ ｄ） ｅ 随着数 据库 技术 的迅 速发展 ． 如何 从 含有 海量 信息 的数据 库 中提取更 有 价值 、更直 观 的信 息和知 识 ？ 人们结 合统 计学 、 据库 、 数 机器 学 习 、 神经 网 络 、 式识别 、 糊数学 、 模 模 粗糙 集 理论 等技 术 。 出 ‘ 提 数 据挖掘 ’ 一新 的数据 处理 技术来 解 决这 一难题 。 据 这 数 挖 掘 （ ａａＭｉｉｇ 就 是 从 大 量 的 、 完 全 的 、 噪 声 Ｄ ｔ ｎｎ ） 不 有 的、 模糊 的 、 随机 的数 据 中 ． 提取 隐含 在其 中的 、 人们 事 先不知 道 的 、 又是潜 在 的有用 的信 息 和知识 的过程 。 但 这 些数 据 可 以是 ： 构 化 的 ． 结 构 化 的 ， 布在 网络 结 半 分
１１ 数据 挖掘 的概 念 ．
数 据挖掘 的对 象包 含大量 数 据信息 的各 种类 型数
据 库 。如关 系数据 库 ， 向对 象 数据库 等 ， 本数 据数 面 文 据源 ， 多媒 体 数 据 库 ， 间数 据 库 ， 态 数 据 库 ， 空 时 以及 Ｉｔ ｎｔ 类 型 数 据 或 信 息 集 均 可 作 为数 据 挖 掘 的对 ｎｅ ｅ等 ｒ
数据挖掘隐私保护综述.doc
数据挖掘隐私保护综述作者：李詹宇朱建明来源：《信息安全与技术》2012年第09期【摘要】随着社会信息化和电子商务与电子政务的不断发展，数据成为社会的重要资源，数据挖掘技术的应用逐渐深入。
与此同时，隐私保护方面的问题已经成为数据挖掘研究的热点问题之一。
本文介绍了数据挖掘隐私保护的发展现状，阐述了相关的概念、特征、分类和研究成果，并从数据扰动和多方安全计算两个方面介绍了数据挖掘隐私保护的相关技术，提出了未来的研究方向。
【关键词】隐私保护；数据挖掘；数据扰动；多方安全计算A Survey of Privacy Preserving Data MiningLi Zhan-yu Zhu Jian-ming(School of Information, Central University of Finance and Economics Beijing 100081)【 Abstract 】 With the development of E-commerce and E-government, and deepening use of the data mining technology, the problem of privacy preservation becomes one of the key factors in data mining. In this dissertation, we briefly introduce the history and current situation of Privacy Preserving Data Mining (PPDM). Some basic concepts, characters, classifications and research results related to PPDM are presented. In addition, we exhibit PPDM technology in data perturbation and secure multi-party computation respectively, pointing out the research area in the future.【 Keywords 】 privacy preservation; data mining; data perturbation; secure multi-party computation1 引言数据挖掘隐私保护（Privacy Preserving Data Mining，简称PPDM）是关于隐私和安全研究的热点问题之一。
数据挖掘中聚类算法的综述
中的模型和关系进行辨识的时候 ， 通常第一个步骤
聚类 的定义 ： 聚类 是将数 据划 分 成群组 的过 程。 ２ １３ 平均连接 算 法 ．． 通过确定 数据之 间在预先 制定 的属性 上 的相 似性来 如果 在两个 目标 簇 中 ， 一个 簇 中 的所有 成员 与
完成聚类任务 ， 这样最相似 的数 据就聚集 成簇。聚类 另一 个簇 中 的所 有成 员 之 间 的 平 均距 离 小 于 距 离 与分类的不同点： 聚类的类别取决于数据本身； 而分类 阀值 ， 则合并这两个簇。
个数 据项 总是 被插 入 到最 近 的叶 子条 目（ 聚类 ） 子
成员设置为中心点集合 ， 然后在 每一步 中， 对输人
中。如果在插入后， 使得该叶子节点中的子聚类的 数据集中 目 前还不是中心点的成员进行逐个检验 。 直径大于阈值 ， 则该叶子节点或其他节点很有可能 看 是否 可成 为 中心点 。
其中的、 人们事 先 不 知 道 的 、 又 是 潜 在 有 用 信 息 ２ １２ 全 连接 算 法 但 ．． 和知 识 的过 程 。当人 们 使 用 数 据 挖 掘 工 具 对 数据 该算 法 寻 找 的 是一 个 团 ， 不 是 连通 的分 量 ， 而 个 团是 一个最 大 的图 ， 中任 意两 个 顶点之 间 都 其 就是 聚类 。 因此 根据 实 际科研 情况 ， 择 一个 好 的 存在一个条边 。如果两个簇 中的点之间的距离小 选 聚类 算法 对后续 的研 究工 作是 非常 关键 的 。 于现 最大 连 通子 图 ， 果 如
数据 挖 掘 （ ａ ｉｉ ） 是从 大 量 的 、 完 全 至 少存 在一条 连接 两个簇 的边 ， 且两 点之 间 的最 Ｄ ｔ Ｍ ｎｎ ： ａ ｇ 不 并 的 、 噪声 的 、 糊 的 、 机 的数 据 中 ， 取 隐 含 在 短距离小于或等于给定的阀值 ， 有 模 随 提 则合并这两个簇。
数据挖掘中的本体应用研究综述
是 同一 概 念 。而 文 献 Ｅ ３ ， 据 挖 掘被 认 为是 Ｋ Ｄ 的关 ２中 数 Ｄ
键 步骤 。Ｆ ａ ｙ ｄ将 ＫＤ 的过 程分 为 以下 几 个 步 骤 ： ｒｙａ Ｄ （ ） 据 选 择 。从 数 据 库 中选 择 与 业 务 相关 的 目标 数 １数 据 。在 大 型 数 据 库 中 ， 历 所 有 数 据 是 不 现 实 且 不 明 智 遍
的 。
（） ２ 数据 预处 理 。根 据 需 要 去 除 噪 声 。收 集 必 要 的信 息 用 以 建模 和 对 噪声 进 行 说 明 ， 据 决 策 需 要 决 定 需 要 丢 根 弃 的数 据 ， 据 时 间 需 要 等 等 因 素选 择 数 据 。 根 （ ） 据 转 化 。转 换 数 据 为 数 据 挖 掘 工 具 所 需 的 格 ３数
方 法为混合本体方法 。
在单 本 体 中 ， 用 一 个 统 一 的本 体 —— 全 局 本 体 来 描 采 述 所 有 的 数 据 源 。多 本 体 方 法 对 各 个 数 据 源 采 用 一 个 局 部 本 体 来 描 述 ， 样 做 的 优 点 是 在 数 据 源 发 生 增 改 和 删 除 这
骤 （ ） （ ） 数 据 挖 掘 中也 被 认 为 是 数 据 挖 掘 的准 备 工 １一 ４在
作 ， 此 在 本 文 中将 数 据 挖 掘 与 ＫＤＤ视 为 同 一 概 念 。 因
１２ 本体 ．
本 体 方 法 、 本 体 方 法 和 混 合 方 法 （ １ 。 目前 ， 用 的 多 图 ） 常
储 打下 了物 质 基 础 。
完全的 、 噪声的、 糊 的、 有 模 随机 的 数 据 中 ，提 取 隐 含 在 其 中的 、 们 事 先不 知 道 的 、 又 是 潜 在 有 用 的 信 息 和 知 识 人 但 的过 程 ” ２ ０ （ ０ １年 提 出 ） 后 者 是 被 广 泛 引 用 的数 据 挖 掘 定 ， 义 。数 据 挖 掘 定 义 的 变 化 伴 随 着 数 据 挖 掘 方 法 的研 究 深 入 而 变 化 ，在 商 务 智 能 领 域 ， 据 挖 掘 被 定 义 为 是 对 商 业 数
数据挖掘算法综述
电 脑 学 习
第４ 期
数据挖掘 算法综述
张君枫 ’
摘 要 ： 本文主要对数 据挖掘的常用算法进行综合研究和比较 。 分析各 个算法 的利弊与适用情况
关键 词 ： 数据挖掘 中图分类号 ：Ｐ ０ Ｔ３１
分类
预测
聚类
文献标识码： Ａ 文章编号：０ ２ ２ ２ （ ０ ０）４ ０ ２— ３ １０ — ４ ２ ２ １ ０ — １０ ０
Ｓ ｍ ｍａ ｙ ｏ ｔ ｉ ｉ ｇ Ａｌ ｏ ｉ ｍ ｕ ｒ ｆ Ｄａ ａ Ｍ ｎ ｎ ｇ ｒｔ ｈ
Ｚｈ ｎｇ Ｊ ｎ ｅ ｇ ａ ｕ ｆｎ
Ａｂ ｔａ ｔ Ｔ ｅ ｐ ｐ ｒｍａ ｅ ｈ ｏ ｒｈ ｎ ｉ ｔ ｄ ｆｃ ｎ ｎ ｄ ｔ ｍｉｉｇ ａｇ ｒ ｈ ｓ ａ ｄ ａ ａ ｚｓ ｔｅ ａ ｖ ｔ ｅ ｄ ｄｓ ｓｒ ｃ ： ｈ ａ ｅ ｋ ｓ ｔｅ ｃｍｐｅ ｅ ｓ ｅ ｓｕ ｙ ｏ ｏ ｌ ａａ ｎｎ ｌｏ ｔｍ ， ｎ ｎ ｌ ｅ ｄ ａ ａ ｓ ａ ｉ ｖ ￣ｏ ｉ ｙ ｈ ｎ ｇ ｎ －
聚类就是将数据项分 组成 多个类或簇 ，类之 间的数据 差别应尽 可能大 ， 内的数据差别应尽 可能小 ， 类 即为 “ 小 最
化 类 间 的相 似 性 ， 大 化 类 内的 相 似 性 ” 则 。与 分类 模 式 最 原
于 场 景 的 元数 据 的 Ｒ Ｆ文 件 会 自动 转 换 ， 并 通 过 Ｒ Ｆ编 Ｄ Ｄ 辑 器 显 示 。 这 样 ， 户 可 以存 储 结果 ， 来 还 可 以进 一 步 编 用 将 辑 ， 用 户 的 视 野 在 Ｒ Ｆ文 件 里 增 加 新 的 类 和 属 性 ， 而 从 Ｄ 从 为 现 今 Ｗｅ 可 用 的多 媒 体 元 数 据 做 出贡 献 。 ｂ上
数据挖掘之聚类算法综述
河西学院学 报
Ｖ １２ ｏ ５ ２ １ ） ｏ ８ Ｎ ． （０ ２ ．
数 据 挖 掘 之 聚 类 算 法 综 述
方 媛 车 启 凤２
张掖 ７４０ ） ３００
（． １ 河西学院信息技术中心；２ ． 河西学院信息技术与传媒学院，甘肃
摘
要 ：近年来，数据挖掘技术的研 究备 受国内外关注，其主要原 因是信息技术 发展产生了大量
１于 舫 ｛ 墓 ｌ模 法 型 ＿ 基
ｌ 基于约束的方法 （Ｏ ） Ｃ Ｄ ｆ 基于模糊的方法 （Ｃ Ｆ Ｍ） Ｉ 基于粒度的聚类 ｌ 量予聚类 （ ｃ Ｑ） ＼ 核聚类 （ｃ Ｆ） ‘
图 １ 聚 类算法分 类图
分 裂过程 中两个类之 间距离 的度量方法是算法 的重要 组成部分 ．类 间距离 的度量广泛采用 如下 四种方法 ： 最， 距离 ：ｄ ｉ （ ｉ ｊ ｍｎ ∈Ｃ ，Ｐ ∈ＣＩ ’Ｉ Ｊ 、 ｍ ｎ Ｃ ，ｃ ）＝ ｉ ｐ ｉ ｉ —Ｐ ｐ
分散的数据，迫切需要将这些数据转换成有用的信息和知识． 此前的研 究，主要集 中于分类算法及应 用 方面的研究，但 某些特殊领域，如生物信息学研 究等 ，需要通过聚类方法解决一些实际问题． 本文从横
向深入分析了数据挖掘技术中聚类算法的发展 ，对层次法、划分法、模糊法 ，以及量子聚类、核聚类 ，
中的 ＢＲ Ｈ，称 之为平 衡迭代 削减聚类法算法 ，是一种综合 的层 次性 聚类方法． ＩＣ 它用聚类特 征和 聚类 特征树 （ Ｆ树 ） Ｃ 两个概 念来概 括聚类过 程． 这种 聚类 方法 在大型数 据库 中具有 对象数 目的线性 易伸缩性及 良好的 聚 类质量 ． Ｉ Ｃ ＢＲ Ｈ算 法 的核心是用 一个聚类特 征三元组 Ｃ Ｆ总结 了一个对象 子聚类 的有 关信息 ．从 而使 一个对
数据挖掘综述
Ｋｅ ｙ ｗｏｒ ｓ Ｄａａ Ｍ ｉ ｉｇ ａｓ ｃａｉ ｎ ｒ ｌｓ ｃａｓ ｃ ｔ ｎ ａ ｄ ｐ ｅ ｉｔ ｇ ｃｕ ｔｒｎ ； ｏ ｅ ｏ ｎ ｄ ： ｔ ｎ ｎ ； ｓｏ ｉｔ ｕ ｅ ； ｌｓ ｆ ａｉ ｎ ｒ ｄ ｃｉ ； ｌｓｅ ｇ ｆ ｒ ｇ ｕ ｄ ｏ ｉ ｉ ｏ ｎ ｉ ｒ
中在数 据 挖 掘 算 法 和应 用 上
频 繁 项 集 的 所 有 非 空 子集 也 必 须 是频 繁 的 （ ＡＵＢ模 式 不 可
能 比 Ａ更 频 繁 的 出现 ） ｐｉ ｉ 法 是 反 单 调 的 ， 即一 个 集 合 如 果 Ａ ｒ ｒ算 ｏ 不 能 通 过 测 试 ， 该 集 合 的所 有 超 集 也 不 能通 过相 同 的测 试 则
到频 繁 ｋ 项 集 ， 每 个 Ｌ 一 找 ｋ需 要 一 次数 据库 扫描 。
２２１Ａｐｉｒ 性 质 ．． ｒ ｉ ｏ
式 识 别 、 计 学 、 据 可 视化 、 性 能 计 算 、 家 系 统 等 多 个 领 域 。 统 数 高 专 从 数 据 库 中发 现 出来 的 知 识 可 以用 在 科 学 研 究 、 息 管 理 、 程 信 过 控 制 、 策 支 持 等 各 个 方 面 数 据 挖 掘 是 Ｋ Ｄ最 核 心 的 部 分 ， 决 Ｄ 是 采用 机 器 学 习 、 计 等 方 法进 行 知 识 学 习 的 阶段 、 据 挖 掘 算 法 统 数 的好 坏将 直 接 影 响 到所 发 现 知 识 的 好 坏 目前 大 多 数 的研 究都 集
ｅ ｇ ）通 过 逐 层 搜 索 的 迭 代 方 法 ． ｄｅ ， 即将 ｋ 项 集 用 于 探 察 ｆ＋ ）项 一 ｋ １一 集 ， 穷 尽 数 据 集 中 的所 有 频 繁 项 集 。 找 到 频繁 ｌ 项集 集合 Ｌ ． 来 先 一 １ 然后用 Ｌ 找 到频繁 ２ 项集 集合 Ｌ ， 着用 Ｌ １ 一 ２接 ２找 Ｌ ． 到 找 不 ３直
综述--浅谈模式识别、数据挖掘、机器学习、人工智能及它们与数据融合的联系与区别
浅谈模式识别、数据挖掘、机器学习、人工智能以及它们与数据融合的联系与区别 目录 一.模式识别： ...............................................................................
1.1定义与简介： .......................................................................... 1.2发展史： ................................................................................ 1.3研究方向： ............................................................................ 1.4主要方法： ............................................................................ 1.5具体应用： ............................................................................ 1.6未来发展： ............................................................................ 二.数据挖掘： ............................................................................... 2.1定义与简介： .......................................................................... 2.2发展史： ................................................................................ 2.3研究方向： ............................................................................. 2.4主要方法： ............................................................................. 2.5十大经典算法： ........................................................................ 2.6具体应用： ............................................................................. 2.7未来发展： ............................................................................. 三.机器学习： ............................................................................... 3.1定义与简介： .......................................................................... 3.2发展史： ................................................................................ 3.3研究方向： ............................................................................. 3.4主要方法： ............................................................................. 3.5具体应用： ............................................................................. 3.6未来发展： ............................................................................. 四.人工智能： ............................................................................... 4.1定义及简介： .......................................................................... 4.2发展史： ................................................................................ 4.3研究方向： ............................................................................. 4.4主要方法： ............................................................................. 4.5具体应用： ............................................................................. 4.6未来发展： ............................................................................. 五，与多源数据融合的联系及区别 ............................................................. 参考文献 .................................................................................... 一.模式识别：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Web数据挖掘综述摘要:过去几十年里,Web的迅速发展使其成为世界上规模最大的公共数据源,因此如何从Web庞大的数据中提取出有价值的信息成为一大难题。
Web数据挖掘正是为了解决这一难题而提出的一种数据挖掘技术。
本文将从Web数据挖掘的概念、分类、处理流程、常用技术等几方面对Web数据挖掘进行介绍,并分析了Web 数据挖掘的应用及发展趋势。
关键词:Web数据挖掘;分类;处理流程;常用技术;应用;发展趋势Overview of Web Data MiningAbstract:Over the past few decades,the rapid development of Web makes it becoming the world’s largest public data sources.So how to extract valuable information from the massive data of Web has become a major problem.Web data mining is the data mining technology what is in order to solve this problem.This article introduces the Web data mining from its concept, classification,processing,and common techniques,and analyzes the application and the development tendency of Web data mining.Key words:Web Data Mining;Classification;Processing;CommonTechniques;Application; Development Tendency0.引言近些年来,互联网技术的飞速发展,带来了网络信息生产和消费行为的快速拓展。
电脑、手机、平板电脑等终端的普及,SNS、微博等Web2.0应用的快速发展,促进了互联网信息数量的急剧增长,信息资源前所未有的丰富。
但同时,海量级、碎片化的信息增加了人们获取有效信息的时间和成本[1]。
因此,迫切需要找到这样的工具,能够从Web上快速有效地发现资源,发现隐含的规律性内容,提高在Web上检索信息、利用信息的效率,解决数据的应用问题,Web数据挖掘正是一个很好的解决方法。
1.Web数据挖掘概念Web数据挖掘,简称Web挖掘,是由Oren Etzioni在1996年首先提出来的[2]。
Web数据挖掘是数据挖掘在Web上的应用,它利用数据挖掘技术从与Web相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息,涉及数据库技术、信息获取技术、统计学、机器学习和神经网络等多个研究领域的技术[3]。
2.Web数据挖掘分类Web上包括三种类型数据:Web页面数据、Web结构数据和Web日志文件[4]。
依据在挖掘过程中使用的数据类别,Web数据挖掘可以分为Web内容挖掘,Web 结构挖掘,Web 使用挖掘三类。
2.1Web内容挖掘Web内容挖掘是从文档内容或其描述中抽取有用信息的过程。
Web内容挖掘有两种策略:直接挖掘文档的内容和在其他工具搜索的基础上进行改进。
根据挖掘出来的数据可以将Web内容挖掘分为文本挖掘和多媒体挖掘两个部分。
2.2Web结构挖掘Web结构挖掘是从Web组织结构和链接关系中推导知识、挖掘页面的结构和Web结构,可以用来指导页面采集工作,提高采集效率。
Web结构挖掘可以分为Web 文档内部结构挖掘和文档间的超链接结构挖掘。
2.3Web使用挖掘Web使用挖掘是从服务器端记录的用户访问日志或从用户的浏览信息中抽取感兴趣的模式。
通过分析这些数据可以帮助理解用户隐藏在数据中的行为模式,做出预测性分析,从而改进站点的结构或为用户提供个性化服务[5]。
这方面的研究主要有两个方向:一般的访问模式追踪和个性化的使用记录追踪。
图1Web数据挖掘分类示意图3.Web数据挖掘处理流程与传统数据和数据仓库相比,Web上的信息具有高度异构和半结构化特性[6],并且是动态的,所以很难直接以Web网页上的数据进行数据挖掘,而必须经过必要的数据处理,典型的Web数据挖掘的处理流程如下[7]:3.1查找资源任务是从目标Web文档中得到数据,值得注意的是有时信息资源不仅限于在线Web文档,还包括电子邮件、电子文档、新闻组或者网站的日志甚至是通过Web形成的交易数据库中的数据。
3.2信息选择和预处理任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。
例如从Web文档中自动去除广告链接,去除多余格式标记、自动识别段落或者字段,并将数据组织成规整的逻辑形式甚至关系表。
3.3模式发现对预处理后的数据进行挖掘,自动进行模式发现,从Web站点间发现普遍的模式和规则。
3.4模式分析对发现的模式进行解释和评估,必要时需返回前面处理中的某些步骤以反复提取,最后将发现的知识以能理解的方式提供给用户。
可以是机器自动完成,也可以是与分析人员进行交互来完成。
图2Web数据挖掘处理流程示意图4.常用的Web数据挖掘技术4.1路径分析技术我们通常采用图的方法来分析Web页面之间的路径关系。
G=(V,E,其中V是页面的集合,E是页面之间的超链接集合,页面定义为图中的顶点,而页面间的超链接定义为图中的有向边。
顶点v的入边表示对v的引用,出边表示v引用了其他的页面,这样形成网站的结构图,从图中可以确定最频繁的访问路径。
路径分析技术常用于改进站点的结构[8]。
4.2关联规则挖掘技术关联规则挖掘技术主要用于从用户访问序列数据库的序列项中挖掘出相关的规则,就是要挖掘出用户在一个访问期限(Session,从服务器上访问的页面文件之间的联系,这些页面之间并不存在直接的参引(Reference关系。
使用关联规则可以发展很多相关信息或产品服务。
例如:某信息A和B,同时被很多用户浏览,则说明A和B有可能相关。
同时点击的用户越多,其相关度就可能越高。
系统就可以利用这种思想为用户推荐相关信息或产品服务。
4.3序列模式挖掘技术序列模式挖掘技术就是挖掘出交易集之间的有时间序列关系的模式。
它与关联规则挖掘技术都是从用户访问下的日志中寻找用户普遍访问的规律,注重事务内的关系,而序列模式挖掘技术则注重事务之间的关系。
发现序列模式,便于预测用户的访问模式,有助于开展基于这种模式的有针对性的广告服务。
依赖于发现的关联规则和序列模式,能够在服务器方动态地创立特定的有针对性的页面,以满足访问者的特定需求。
4.4分类、聚类技术分类规则可挖掘出某些共同的特性,而这一特性可对新添加到数据库中的数据项进行分类。
在Web数据挖掘中,分类技术可根据访问用户而得到个人信息,共同的访问模式以及访问某一服务器文件的用户特征。
而聚类技术则是对符合某一访问规律特征的用户进行用户特征挖掘[9]。
发现分类规则可以识别一个特殊群体的共有属性的描述,这种描述可以用于分类新的检索。
聚类可以从Web访问信息数据库中聚集出具有相似特性的用户群。
在Web事务日记中聚类用户信息或数据项能够便于开发和执行未来的市场战略。
5.Web数据挖掘的应用5.1在社交网络上的应用近年来,在线的社交网络成为Web2.0时代最广泛的应用实例。
社交网络允许用户在Web的环境里进行自由的沟通交互。
一些社交网站已经成为网络上最受欢迎的网站。
Web 内容挖掘可以对社交网站的文档进行分类或分级,特别是针对博客、微博或是以文字内容为主的论坛。
Web结构挖掘可以对社交网站的结构进行分析,为网站的改进建设提供有价值的建议。
Web使用挖掘可以用来分析用户的阅读兴趣和习惯,为用户推送最新的阅读内容[3]。
5.2在电子商务上的应用网络的发展使得电子商务成为了人们生活与企业发展中不可分割的一部分。
电子商务平台是一个拥有海量数据信息资源的大型数据库,利用Web使用挖掘可以提高用户满意度,发现潜在的消费者,提供个性化的服务等。
利用Web结构挖掘可以优化网站结构,为用户提供更加有效且快速的访问渠道,帮助商家制定更准确的市场营销策略[10]。
5.3在远程教育上的应用现代远程教育站点是采用多种媒体手段进行远程系统教学的教育形式。
它是随着现代信息技术的发展而产生的一种新型教育形式,是构筑知识经济时代人们终身学习体系的主要手段。
使用Web数据挖掘,站点页面之间的链接得到优化,极大方便学习者学习,知识点之间的关联变得更为密切。
同时,日常教学管理能更好地以学习者为中心[11]。
5.4在搜索引擎上的应用通过Web数据挖掘,对网页上的一些相关内容以及用户的搜索习惯进行挖掘和采集,提高用户的检索效率,同时提高搜索引擎的准确性。
6.Web数据挖掘的发展趋势Web数据挖掘处理的是海量数据,且数据量以指数级增长,同时所涉及的挖掘算法相当复杂。
有的算法需要多次扫描数据库,当数据量增加时会增加扫描的代价;有的算法需要存储各系列的相关信息,当信息量很大时,会带来存储上的问题。
与传统Web数据挖掘相比,基于云计算的Web数据挖掘通过“云”中多个资源完成原来由一个节点承担的挖掘工作,使资源得到了充分利用,提高了数据挖掘的效率,因此,将云计算融入Web数据挖掘中将具有非常重要的现实意义,可以解决Internet上广域分布的海量数据挖掘问题[12]。
通过云计算,Web数据挖掘的代价将大大降低,所以有理由相信云计算挖掘是Web数据挖掘今后的趋势。
7.结束语人类的发展离不开信息的传播和使用,在数据量急剧增长的当今社会,如何快速有效地检索有价值的信息显得更为重要,Web数据挖掘正是由于满足了这方面的需要才能获得如此迅速的发展。
随着网络技术的发展以及网络用户的增加,Web数据挖掘技术将成为重要的研究课题和方向。
参考文献[1]全巧梅.云计算环境下WEB数据挖掘的研究[J].信息技术与信息化,2012,05:96-99+105.[2]Etzioni O.The World-Wide Web:quagmire or gold mine?[J].Communications of the ACM,1996, 39(11:65-68.[3]高华.Web挖掘技术在社交网络分析的应用研究[J].科技信息,2013,09:91-92.[4]薛鸿民.Web数据挖掘技术研究[J].现代电子技术,2006,15:99-101.[5]Pierrakos D,Paliouras G,Papatheodorou C,etal.Web usage mining as a tool for personalization:A survey[J].User modeling and user-adapted interaction,2003,13(4:311-372.[6]由海涌,姜达.浅谈Web数据挖掘技术的应用[J].电子技术与软件工程,2013,06:55-56.[7]曹聪聪,康耀红.Web数据挖掘研究[J].现代电子技术,2007,04:92-94+97.[8]潘正高.Web数据挖掘技术综述[J].电脑知识与技术,2009,15:3852-3853+3858.[9]王少茹.基于Web数据挖掘的探索[J].电子世界,2014,04:11-12.[10]王芳.电子商务平台中的Web数据挖掘应用探讨[J].科技创新与应用,2014,10:44.[11]张舰.基于Web挖掘的远程教育站点设计[J].软件导刊,2014,05:132-134.[12]程苗.基于云计算的Web数据挖掘[J].计算机科学,2011,S1:146-149.。