通用数据挖掘平台设计与实现
数据挖掘可视化系统设计与实现
数据挖掘可视化系统设计与实现针对当前数据可视化工具的种类、质量和灵活性上存在的不足，构建一个数据挖掘可视化平台。
将获取的数据集上传到系统分布式数据库中，对数据集进行预处理，利用Mahout提供的分类、聚类等挖掘算法对数据集进行挖掘，使用ECharts将挖掘产生的结果进行可视化展示。
标签：数据挖掘；可视化展示；数据预处理；挖掘算法引言在大数据时代，通过数据挖掘可以对数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从而提取辅助商业决策的关键性信息，帮助企业做出决策。
丰富而灵活的数据挖掘结果可视化技术使抽象的信息以简明的形式呈现出来，加深用户对数据含义的理解，更好地了解数据之间的相互关系和发展趋势。
然而当前数据可视化工具的种类、质量和灵活性较大的影响数据挖掘系统的使用、解释能力和吸引力。
这就需要使用分布式大数据处理技术进行数据的存储和计算，构建一个数据挖掘可视化平台，通过多种挖掘算法实现对原始数据集进行挖掘，从而发现数据中有用的信息。
1 关键技术1.1 MapReduce离线计算框架一种在YARN系统之上的大数集离线计算框架，使用MapReduce可以并行的对原始数据集进行计算处理，从而高效的得出结果。
1.2 HBase分布式数据库一个构建在Hadoop之上分布式的、面向列的开源数据库。
HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
1.3 MahoutApache Software Foundation旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，包括聚类、分类、推荐过滤、频繁子项挖掘等。
1.4 ECharts一种商业级报表，创建了坐标系，图例，提示，工具箱等基础组件，并在此上构建出折线图、柱状图、散点图、K线图、饼图、雷达图、地图、和弦图、力导向布局图、仪表盘以及漏斗图，同时支持任意纬度的堆积和多图表混合实现。
2 系统设计数据挖掘可视化系统包括数据预处理、挖掘算法、可视化显示三大核心模块。
高校教学质量评估数据挖掘系统的设计与实现
中的重要环节 ，是检查教学 效果和提高教 学质量 的重要途 教师本 身因素与教学评价 的内在联 系。 高校教学质量评估数据挖掘系统的设计与实 现 决策树 是一个类似于流程 图的树结构， 中每个节点表 径。 如何从评价教师课堂教学质量的大量数据 中找 出评价结 其
者说一种知识 ， 可以说数据间 的关系 ［］ 也 ２。 － ４ 数 据挖 掘一般 有如 下几 个 步骤 翻 数 据 收集 、 理 、 ： 整 挖 掘、 挖掘结果评价和分析决策 。这需要一个循环反复 的过程
Ａｂ ｔ ｃ ： Ｔ ｉ ａ ｅ ｆ ｒ ｒ ｙ， ｉ ｔ ｏ ｕ ｅ ｓ ｍ ｃ ｎ ｅ ｔ ｏ ａ ａ ｍ ｎ ｎ ｎ ｏ ｅ ｅ ｈ ｏ ｏ ｙ ｕ ｉ ｇ ｎ ｅ ａ ｕ ｓｒ ｔ ａ ｈ ｓ ｐ ｐ ｒ， ｉ ｓ ｌ ｎ ｒ ｄ ｃ ｓ ｏ ｅ ｏ ｃ ｐ ｎ ｄ ｔ ｉ ｉ ｇ ａ ｄ ｓ ｍ ｔ ｃ ｎ ｌ ｇ ｓ ｎ ｉ ｖ ｌ －
关联 规 则的概 念是 由 Ａ ｒ ｗ ｌ ｍ ｅ ｉ ｓ ｉ和 Ｓ ａ ｉ ｇ ａ ａ ｉ ｌ ｎ ｋ ｗｍ 提
教学质 量和分析 影响教学质量 的内在 因素 。 据挖掘软件的 数
发展 阶段 ［ １ ］ 如下： 大致 独立 Ｄ （ａ ａ Ｍ ｎ ｎ ） Ｍ Ｄ ｔ ｉ ｉ ｇ算法研究 ， 通用
Ｄｓ９ ｎ ｍｌｍｎａｉｎｏ ａａＭｎｎ Ｓｓｅ ｎＥａｕｔｎ ｏ Ｔａｈｎ ｕ ｌｔ ｉ Ｕ ｉ ｒｉｙ ｅｉｎａｄ Ｉｐｅｅｔｔｏ ｆＤｔ ｉｉｇ ｙｔ ｏ ｖｌａ ｉ ｆ ｅｃｉｇＱａｉｙ ｎ ｎｖ ｓｔ ｍ ９ ｅ
（ 赣南师范学院数学 与计算机学 院，江西 赣 州 ３ １０ ） ４ ０ ０
电影网站数据挖掘可视化系统设计与实现
电影网站数据挖掘可视化系统设计与实现电影网站数据挖掘可视化系统设计与实现随着互联网的快速发展，越来越多的人倾向于通过在线电影网站观看电影。
而这些电影网站内积累了大量的用户行为数据，如用户观看历史、评分、评论等。
利用这些数据进行挖掘和分析，可以为电影网站提供更好的推荐系统，帮助用户更好地发现适合自己的电影。
为了更好地分析和展示这些海量数据，设计一个电影网站数据挖掘可视化系统是非常有必要的。
这个系统可以帮助网站的管理员和数据分析师更直观地理解用户行为和喜好，为他们提供更准确的决策支持。
首先，在系统设计过程中，要充分考虑到数据的来源和采集方式。
电影网站的用户行为数据包括点击记录、评分、浏览历史等等，这些数据需要通过网站的日志系统进行采集和记录。
在数据挖掘可视化系统中，需要建立一个完善的数据采集模块，确保各类数据能够准确地被记录下来。
其次，由于电影网站的用户数量庞大，数据量也相当庞大，因此在设计数据挖掘可视化系统时需要考虑到数据的处理和存储能力。
可以采用分布式存储和计算技术，将数据存储在多个节点上，并利用类似Hadoop的平台进行分布式计算和处理。
这样可以充分利用系统的计算资源，加快数据挖掘的速度。
在数据挖掘可视化系统中，一个重要的功能是电影推荐系统。
通过分析用户的观看历史、评分等数据，可以为用户推荐他们可能感兴趣的电影。
推荐系统可以利用协同过滤算法、基于内容的过滤算法等多种方法来实现。
通过将推荐结果进行可视化展示，可以让用户更直观地了解系统是如何为他们推荐电影的，提高用户对系统推荐的信任度。
此外，数据挖掘可视化系统还可以提供对电影的多维度分析。
比如，可以对电影的类型、评分、票房等进行分析，提供各种统计图表和报表，让管理员和数据分析师更好地了解电影市场的动态。
最后，数据挖掘可视化系统还可以提供实时数据监控功能。
通过对网站访问量、用户行为等数据进行实时监控，可以帮助管理员及时发现网站的问题和异常情况，并采取相应的措施进行处理。
北京开放大学大数据分析平台设计与实现
北京开放大学大数据分析平台设计与实现摘要：“互联网+”给教育领域开放大学转型发展教育带来了机遇和挑战，不仅有海量学习资源，还产生了大量的行为数据。
如何全面采集教与学全过程数据，并对这些数据进行挖掘分析，实现教育决策的科学化是个值得深入研究的课题。
北京开放大学大数据分析平台是借鉴国内外先进的教育理念，对教学实践中的海量数据进行收集、挖掘、分析、预测，实现了数字北开、招生毕业、学情看板、学情预警学情分析五大功能，为教育决策者制定决策方案提供支持、为教师改善教学活动给予指导，并可以帮助学生制定合理的计划。
因此，对教育大数据的分析和挖掘具有很重要的意义。
关键字：大数据分析；平台；设计框架；应用一、引言大数据时代的到来，成为时代发展的一个重要标志。
我国近几年同步实施的具有战略意义的“积极推进‘互联网+’”和“促进大数据发展”两大行动计划，对经济社会发展的各个领域产生了广泛而深刻的影响，随之而形成的“互联网+教育”的发展态势和教育大数据开发应用的新探索，成为各类教育改革与发展的鲜明特征。
互联网给教育带来的不仅是资源的汇集和联通，更重要的是海量的教育数据。
这对于教育管理、研究、决策具有重要的意义。
与此同时，一个新的领域学习分析迅速发展。
学习分析技术既是互联网+教育的重要成果。
也是互联网加教育的主要推动力量。
从学习者的角度出发，学习分析技术可以分析具体学生的学习行为和学习过程的发生机制，并基于分析结果为每位学生推荐个性化的学习路径，更好的满足学生自适应学习的需求。
从教师和管理者角度，学习分析技术可以为课程和机构的评估提供客观依据，使教学的评价更加全面、系统、深入，更让教师为学生的个性化的教学干预提供了更有力的协助。
从研究者的角度来看，学习分析技术是研究学生个性化学习、研究在线学习过程和实际效果的便捷工具。
二、大数据分析平台设计思路与架构1设计思路北京开放大学根据远程开放教育的特性，在“十三五”发展规划中将“智慧学习环境建设”列为一项重要工程，提出要充分运用成熟的信息技术手段，构建数据互通平台，打造一站式的教学、科研与管理的可靠服务系统。
数据挖掘原型系统中分类挖掘模块设计与实现
吴 湘 洲
田 盛 丰
Ｉ 蔓： 绍了通用数据挖掘置 型系藐Ｇ ｎ ｎ ｒ ｅ Ｍｉｅ 中升类挖曩模块设计与实琨。Ｇ ｎ ｎｒ系统中升类挖掘采用耗 ｅＭｉｅ 时短．升类簸率高．鞍为癔基的挟策树Ｃ ． ４５方法 文中巍明了分类挖曩模块采用的挟策树Ｃ ５方法，弪其在Ｇ ｎ ｎ ｒ Ａ． ｅＭｉ ｅ 系统馒计 与实瑰。 关鼍胃：羲据挖曩 Ｇ ｎ ｎ ｒ升类 决策捌 Ｃ ． ｅＭｉｅ ４５ Ｄｅ ｉ ｎ ｎｄ ｌ ｐ ｅ ｅ ａ Ｊ ｎ ｏ ｅｅｌ ｓ ｉ ｃ ｔｏ ｏ ｕｌ ｎ ｓｇ ａ ｍ ｌ ｍ ｎｔ ｔｏ ｆｍ ａ ｓｌ ａ Ｊ ｎ Ｍ ｄ ｅｉ Ｇｅｎ ｉ ｒ ｉ Ｍ ｎｅ
ｔ ｅ Ｃ ． ｉ ｕ ｅ ｅｃａ ｓ ｃ ｔ ｎ ｍｏ ｕｅａ ｄｉ ｅｉ ｎ ａ ｄｉ ｌｍｅ ｔｔ ｎｉ ｎ ｎ ＊ ｌ ４ ５ｗｈ ｃ ｅ ｈ ｓ ｄ ｉ ｔ ｌｓ ｉ ａ ｏ ｄ ｌ．ｎ ｓｄ ｓ ｎ ｎｈ ｉ ｆ ｉ ｔ ｇ ｍｐｅ ｎ ａ ｏ ３ ｉ １Ｇｅ Ｍｉ ｅ ．
３ ｅＭｉｅ 数据挖掘系统简介 ｎ ｎｒ Ｇ
我们开发的通用数据挖掘系统 Ｇ ｎ ｎｒ ｅＭｉ 是基于数据库 ｅ 上 的 。系统 主 要 由 ５大模 块组 成 ，包括 数 据接 口、 数据 离
济 、金 融 、管 理等领域都 取得 了应 用性 成果 。
我们开发的通用数据挖 掘系统 Ｇ ｎ ｎｒ ｅＭｉｅ是基于数据库 散化 、关联规则挖掘、分类挖掘及结果可视化。
０ ｓ ｓｓ ０ ｔｉ ｍａｌａ ｄｃ ａ ｓｆｃ ｔｏ ｓｖ ｒ ｆ ｃｅｘ，￣ ｗｈｃ ａ ｅ ｎｄ ｖ ｌ ｐ ｄｖ ｒ ｌ ｎ ｌｓ ｉ ａ ｎｉ ｅ ｙｅｆ ｉａｔ ｄ ｉ ｉ ｉ ａ ｉｈｈ ｓｂ ｅ ｅ ｅｏ ｅ ｅ ｙｗｅＬＴ Ｉ ｈｅｐ ｐｅ ａ ｒ￣ ｓｅ ｈｅｍ ｅｈ ｄｏｆ ｅ ｍｉｎ ． ｓｔ ｓ ｔｏ ｄｃ ｏ
电影网站数据挖掘可视化系统设计与实现
电影网站数据挖掘可视化系统设计与实现电影网站数据挖掘可视化系统设计与实现绪论随着互联网的快速发展，电影产业也迎来了前所未有的机遇与挑战。
电影网站成为观众获取电影信息、互动交流的主要平台之一。
然而，众多电影信息的积累与管理，对于个人用户而言首先面临的是信息获取与筛选的困难。
为了解决这一问题，本文设计与实现了一种电影网站数据挖掘可视化系统。
一、需求分析1.1 功能需求针对电影网站用户需求，系统应当具备以下功能：- 电影分类与搜索功能：用户可以根据电影的不同分类（如类型、地区、年代等）或者关键词进行搜索，以快速找到感兴趣的电影。
- 用户交互功能：用户可对电影进行评分、评论，并与其他用户进行互动交流，提供社交化的电影观影体验。
- 推荐系统：基于用户的历史偏好、评分和行为，为用户推荐相关电影，提高用户的体验和参与度。
1.2 数据需求为了满足上述功能需求，系统需要从电影网站中获取大量的电影数据，包括但不限于：- 电影的基本信息，如标题、导演、编剧、主演、类型、上映日期、时长、制片国家等。
- 电影的评分信息，如用户评分、专业评分、票房等。
- 用户的交互数据，如用户的评分、评论、收藏、观看记录等。
二、系统设计2.1 数据获取与存储系统通过网络爬虫技术，从各大电影网站获取电影数据，并存储到数据库中。
为了提高数据获取效率，系统可以使用多线程技术，同时抓取多个电影页面。
为了保证数据的准确性与一致性，系统在数据存储过程中进行数据清洗与整合，排除重复数据和不完整数据。
2.2 数据处理与分析为了实现电影的分类与搜索功能，系统需要对电影数据进行处理与分析。
首先，系统可以通过关键词提取、文本分析等技术，对电影的标题、简介、标签等数据进行自然语言处理，提取其中的关键信息，从而为电影进行分类和搜索提供支持。
其次，系统可以通过算法模型，分析用户的历史行为数据，挖掘用户的偏好和行为规律，为用户提供个性化的电影推荐。
2.3 可视化系统设计为了提高用户体验和数据交互性，系统需要设计合适的用户界面与可视化效果。
基于SOA的数据挖掘原型平台的设计与实现
第２ ８卷第 ２期
２ １ 年 ２月 ０１
计 算机 应 用与软件
Ｃｏ ｍｐｕｅ ｐ ｉ ａｉｎ ｎｄ Ｓ ｆｗａ ｅ ｔｒＡｐ ｌｃ ｔｏ ｓ ａ ｏｔ ｒ
Ｖｏ． ８ Ｎｏ ２ １２ ． Ｆｂ２ １ ｅ ． ０１
基于 Ｓ ＯＡ 的 数 据 挖 掘 原 型 平 台 的 设 计 与 实 现
ｆａ ｒｓ ｆ Ｏ ｎ ｌｄ ｇ ｉ ｐ ｎ ｅ ｓ ｒｕ ａ ｉｔ ， ｕ ｎ ｍｙ ａ ｄ ｐａ ｏｍ ｉｄ ｐ ｎ ｅ ｔ ｅ ． ａｅ ｎ Ｏ ｅ Ｓ （ ｎｅ ｒ ｅＳ ｒ ｃ ｕ ， ｅｔ ｅ Ａ ｉｃ ｉ ｓｏ ｅ ｎ ｓ ，ｅ ｓｂｌ ｙ ａ ｔ ｏ ｎ ｌ ｆ — ｅ ｅ ｄ ｎ ， ｔ Ｂ ｓｄ ｏ ｐ ｎ Ｅ Ｂ Ｅ ｔｒｉ ｅ ｉ Ｂ ｓ ｕ ｏＳ ｕ ｎ ｔ ｉ ｏ ｔｒ ｎ ｃ ｐｓ ｖ ｅ ｒｆ ｒｄｔ ａ Ｅ Ｂ）ｄ ｖ ｌ ｍ ｎ ｐａ ｏ ， ｅｂ ｉ ｕ ｃｉ ｒｈ ｅ ｔ ｅ ｏ ｅ ｓｓ ｍ， ｎ ｏ ｐｅ ｄ ｔｅ ｄ ｖ ｌ ｍ ｎ ｆ ｏｒｓｏ ｄ ｇ ｅ ｒ ｓ Ｓ ｅｅ ｏ ｅ ｅ ｐ ｅ ｔ ｌ ｒ ｗ ｕ ｔ ｆｎ ｔ ｎ ａｃ ｉ ｃ ｒ ｆ ｈ ｙｔ ａ ｄ ｃ ｍ ｌ ｅ ｅ ｅ ｐ ｅ ｔ ｒ ｐ ｎ ｉ ｏ ｔｍ ｆ ｌａ ｏ ｔ ｕ ｔ ｅ ｔ ｈ ｏ ｏｃ ｅ ｎ ｍ ｊ ｅ ｉ ｎ ｎ ｔ ｎ ｃ ｍ ｏ ｅ ｔ ｏ ｔｅｓｓ ｍ． ａ ｒ ｒ ｃ ａ ｄｆ ｃ ｏ ｏ ｐ ｎ ｎｓ ｆ ｈ ｙ ｔ ｏｓｖ ｅ ｕ ｉ ｅ Ｋｅ ｗ ｒ ｓ ｙ ｏｄ Ｄ ｔ ｎｎ Ｓ Ａ （ ｅ ｉ —ｒ ｎｅ ｒｈ ｅ ｔ ｅ Ｏ ｅ Ｓ ａ ｍｉ ｇ Ｏ ａ ｉ Ｓ ｒ ｃ ｏ ｅ ｔ ａｃ ｉ ｃ ｒ ） ｖ ｅ ｉ ｄ ｔ ｕ ｐｎＥ Ｂ
基于层次方法的数据挖掘工具的设计与实现
聚 类分析 和常用 的聚 类算 法 ，详 细说 明 了在 Ｖｉ ａ Ｂ ｓ ．０结合 ｓ ｅｖｒ２０ ｓ ｌ ａｉ ６ ｕ ｃ ＱＬＳ ｒｅ ０ ０环境 下层 次 方法聚 类 算法
的 实 现
【 关键 词】 数据挖 掘 ，层 次 方法 ，ＶＢ，Ｓ ｅｖ ｒ２ ０ ＱＬ Ｓ ｒｅ ０ ０
们事 先不 知 道 的 、 又 是 潜 在有 用 的信 息和 知 识 的过 但 程 据挖 掘 的 目标 是从数 据 库 中发现 隐含 的 、 意义 数 有
的知识 ， 的功 能包 括 ： 它 自动 预 测趋 势 和 行 为 、 关联 分
个 纯粹 的层 次 聚类 方 法 的 聚类 质 量 受 限于 如 下 特点 ：
维普资讯
基于层次方法 的数据挖 掘工具的设计与实现
文 覃 编 号 ： ０ ３ ５ ５ （ ０ ６ １ － ０ ４０ １０ －８ ０ ２ ０ ） ２０ １－３
２ ０ 往 ０６
基 于层 次 方 法 的数 据 挖 掘 工具 的设 计 与 实现
Ｔｈｅ Ｄｅ ｉ ｎ ａ ｍ ｐ ｅ ｅ ａ ｉ ｎ ｏ ｔ ｉ ｎｇ Ｔｏ ｌ ｓ ｇ ｎｄ Ｉ ｌ ｍ ｎｔ ｔｏ ｆ Ｄａ ａ Ｍ ｎｉ ｏ ｓ
６ ５ １Ｏ ３ １Ｏ １ １０ ０
２０ ８ ３０ ３
Ｏ Ｏ Ｏ Ｏ
类 正在蓬 勃发展 。 聚类 分析 是模 糊集 理论 的重要应 用 ，
主要 是将 实际 当中模 糊性 的 问题通 过数 学手 段 实现一 定 的归类分 析 。 它是 一种数 据 简化技 术 ， 它把 基 于相似
数据 特征 的变量 或个 案组 合 在一起 。这 种技 术对 发现
基 于相似特 征非 常有 用 。
东 部 平 原 １ ． ６５ 东 北 部 丘 陵 １ ６ 东 部 丘 平 区 １ ． ６２ 南 部 丘 平 区 １ ． ６２
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
中图分类号 ： Ｐ １ ． Ｔ ３ ３１ ３
文献标识码 ： Ａ
文章编号 ：６ ３１３（ ０ ２）２０ １—２ １７ —１ １２ １ ０ — ｌ４０ 的方式叙述数据信 息称为描述式数据挖掘 ；通过建立模型并 预测数据集行为的表述称为猜测式数据挖掘。
１数 据挖 掘 的基本 理论
１１ 数据挖 掘 的概念 ．
（） ２ 神经网络方法 ： 神经网络模型分为 ｂ ｐ反 向传 播模 型、
用于模式识别和分类预测 的神经网络模型等等 。因其本身的
白适应性、 分布存储和并行处理特性较适合数据挖掘的研 究，
越 来 越 受 到 人 们 的青 睐 。
（） ３粗集方法 ： 不需额外信息 ， 数据依赖程度较 小， 法简 算
决 策 中 的实 际应 用 作 用 。
（） ３ 数据转换 ： 通过数据规格化处理等方式将筛选 的数据 转换成适合数据挖 掘平 台适用 的数据形式； （） ４ 数据消减： 将转化后 的数据通过维度消减和数据压缩 等方式减小数据规模 以保证研究数据 的质量。
２３ 数据挖 掘方 法 ．
数据挖掘平 台的挖掘原理基 于以下几种方法： （） １遗传算 ： 基于生物遗传原理的全局化搜索算法 。 具有 易结合、 隐含并行 ． ｂ等特 点。不足是次算法 较为复杂 ， 较早收
单且 易于操作 。关系数据库管理系统和数据仓库管理系统的 发展为粗集方法的应用奠定了坚实 的基础 。用集合论作为粗 集 方法 的计算基础难 以处理连 续的数据信息 。
（） 盖 正 例 排 斥 反例 法 ： ４覆 比较 典 型 的有 ａ ｌ 、ｑ ５算 法 ， ｑ １ａ ｌ
２ 数 据挖 掘 平 台的设计 与实现
数据； （） ２ 数据集成 ： 将来 自多个源 的数据进行合并形成完整的 数据集合；
Ｉ２ 数 据挖掘 工具 的发 展过 程 ．
数据挖掘工具经历了独 立数据挖掘软件 、横 向数据 挖掘 工具集和纵 向数据挖掘解决方案三个阶段 。数据挖掘软件早 期， 虽然对 数据 算法有相 当的了解 ， 但仍然离不开对大量数据 的处理工作 。到 了第二个阶段，数据挖掘工具提供 了多种通 用算法 并实现 了数据的转换和可视化。而 到了近期 ，数据挖 掘提供 了针对特定应用系统的解决方案，极大地发挥 了其在
数 据 展 现三 个 步骤 。
通过覆盖所有 正例 、 排斥反例 的方式来寻找规则 。 （） ５ 决策树方法 ： 通过数据分类 从中筛选 出有利用价值的 数据信息， 此方法 简单便捷 、 速度快， 适合大量数据 的处理工
作 。较 有 代 表 的便 是 著名 的 ｉ３算 法 。 ｄ
数据回集主要指将 外部数据从外部脱机存储介质和联机 事务处理系统中导入 数据仓库 的过程 。汇集过程 中包括对 数 据 的复制、 转换 、 调度和监控等 工作流程 。 数据的存储与管理是数据仓库 的主要工作任务 ，数据仓 库把不 同来源的数据 放在 一起 ， 解决这些数据的冲突 问题 ， 它
２ １ 年 第 ２ 期 ０２ （ 总第 １８ 期 ） ｌ
信 息 通 信
Ｉ ＯＲＭ ＡＴ ＯＮ ＆ ＣＯＭ Ｍ ＵＮＩ ＮＦ Ｉ ＣＡＴ１ ０ＮＳ
２ ２ ０ｌ
（ ｕ ． Ｎ １ ８ Ｓｍ ｏ １）
通用数据挖掘平 台设计 与实现
王青峰 ， 翟永刚 ， 林 楠
（ 天津 军事 交通学院教育技 术中心 ， 天津 ３ ０ ６ ） ０ １ １
敛 问题还 有 待解 决 。
１３ 数据 仓库 ．
数据仓库 （ ａａＷａｅｏ ｓ） Ｄ ｔ ｒｈ ｕｅ 作为一种数据 存储和组织技 术， 为数据挖掘提供 了广泛的数据源和支持平 台， 是由决策支 持系统的衍 生产 品。反过来数据挖掘为数据仓库提供了更广 泛 的技术支持和更高的决策支 持。数据仓库是数据挖掘平台 的重要组成部分 ，它的产 生从侧面反映 了决策者从基本事务 的处理到信息战略决策分析的转变 。
供了决策支持， 是数据库技术 、 统计学和人工智能技术交叉 的 学科。从商业角度来说 ， 数据挖掘主要体现在对大量业务数 据进行处理分析 ， 为商业决策者提供有价值的数据信息 。基 于这种需求， 数据挖掘一直是各个领域学者争相研究的热点。
下 ４个 步骤 ：
（） １数据清洗 ： 包括增补遗漏的数据属性 ， 识别和修改异常
摘要 ： 数据挖掘平 台的实现 为决策管理提供 了清晰明确的价值信 息， 通过分析数据挖掘技 术的特性 ， 包括数据挖掘概 述、 数据预处理与关联分析等 ， 重点 阐明 了基于数据挖掘技 术采处理复杂 问题的交换 平台的研 究。
关键词 ： 数据 挖 掘 ； 据 仓 库 ； 计 实现 ； 据 分 析 数 设 数
数据挖掘指将大量随机模糊的信息转变成可供决策参考
信 息 的完 整 过 程 。下 面 分 别 对 各 个 模 块 进行 展 开 说 明 。
２ １数 据挖 掘 过程 ．
为避免数据挖掘 的盲 目性 ，在数据挖掘之前应该 明确数 据挖掘 的 目的， 确保数据挖掘探索问题 的预见性 。 数据挖 掘的工作流程可分为数据回集、 数据 的存储处理、
数据挖掘 是通 过数 理模 式从大量随机 的、 模糊 不完全的
２２ 数 据预 处理 ．
数据预处理是数据挖掘 实现 的首要环节。在进行预处理 之前 ，数据挖掘平台需要先把所需要与业务对 象有 关联 的数 据信 息从数据仓库 中转移到数据挖掘库 中。数据预 处理包括
一
实际应用数据资料中 ， 找出人们 不易察觉的有用信息和知识 的行 为过程。 数据挖掘 为从海量 数据 中提 取有价值的信息提
所 设 计 的数 据 量 大 且 随 着 时 间 的推 移 不 断积 累 。而 数 据 仓 库
（） ６模糊集方法： 基于模糊集和理论的模 糊识别决策分析。 系统复杂性越高， 模糊性越强越有利于这种方法 的使用 。 ． （） ７统计分析方法 ： 利用函数等统计学手段对数据库字段进 行归类分析， 包括常用统计 、 回归分析、 相关分析和差异分析等。 数据挖掘是平台工作的重要部分 ，根据挖掘 目的选择 合 适 的数据算法是为决策提供价值信 息的关键所在 。