基于数据挖掘技术的企业智能竞争情报系统研究
基于大数据的企业竞争力分析研究
基于大数据的企业竞争力分析研究随着互联网及信息技术的高速发展，大数据已成为企业竞争力分析的重要工具之一，成为企业制定营销策略、产品设计、市场研究、分析客户等方面的重要来源。
本文将重点探讨如何基于大数据进行企业竞争力分析研究，以帮助企业在市场竞争中获得更多的优势。
一、大数据与企业竞争力分析大数据是指数字化信息在数量、速度和种类上超过常规数据处理能力的数据集合。
它包括千万、亿级别的数据，以及由多种来源采集的信息、影像、声音等形式的数据。
企业竞争力分析是指对企业在市场竞争中的整体竞争能力进行分析，以评估企业的市场地位、产品竞争力、销售策略和客户需求等方面的综合能力。
大数据与企业竞争力分析的结合，可以在以下方面发挥作用：1. 改善企业的产品设计：企业可以通过采集消费者行为数据、营销数据、使用数据等大量数据，分析出消费者行为、喜好和需求等信息，然后根据这些信息来改进产品设计，提高产品的竞争力。
2. 分析市场竞争：企业可以利用大数据分析工具来分析市场竞争情况，了解市场上各产品、品牌的优势和劣势，确定企业的竞争策略和市场定位，提高企业的市场竞争力。
3. 优化运营效率：通过收集和分析大量数据，企业可以及时掌握销售情况、库存量、供应链情况等运营数据，从而进行数据比对、模型分析，发现运营瓶颈与问题，优化企业运营效率，提高企业的生产力和创造力。
4. 提升客户服务质量：企业可以通过大数据采集客户反馈、行为数据等信息，深入了解客户需求、偏好，可针对性改善产品、服务和客户服务等方面，优化客户体验，提升客户服务质量，提高客户满意度和忠诚度。
二、基于大数据的企业竞争力分析实践之路1. 大数据采集、分析和应用大数据采集、分析和应用是实施基于大数据企业竞争力分析的基础。
企业可以利用现有的数据采集技术或者第三方数据采集平台进行数据采集，如百度指数、微博指数、电商数据、营销数据等，获取海量的实时数据和历史数据，以支持分析与应用。
数据分析工具一般都带有数据的建模、数据的探索与预处理、数据挖掘与分析、数据可视化分析等方面的功能，并可根据业务需求进行优化和定制。
模糊数据挖掘在竞争情报系统中的应用研究
情报 系统 ． 以处理与 企业竞争 相关 的 各种 情报 。企 业 竞争 情报 系
统（ ＣＩ Ｅ Ｓ．Ｅ ｔｒｒ ｅＣ ｍｐ ｔｉｅＩ ｔｌ ｅ ｃ ｙｔｍ ） ｎｅｐｉ ｏ ｅｉｖ ｎｅｌ ｎ ｅＳ ｓｅ 的研 究 和 应 ｓ ｔ ｉ ｇ
点 、 ｔ ｎｔ ｉ ｅ ｅ资源 、 机数 据库等 平 台并 把 这些 数 据存 放 到竞 争 情 ｎｒ 联 报的数 据仓 库 中 。对 于 企 业 而 言 ． 要 是 内 部 的 人 事 、 务 、 主 财 生 产、 销售 等信 恩 ． 有外 部 的 宏 观 政策 、 场 需 求 、 争 对 手 等 情 还 市 竞 报信息， 这些 情报表现 形 式也多 种多 样 ， 括报 告 、 最 、 包 报 图形 、 声 音、 视频 、 示文 稿等 。不论 对于 何种 形 式 、 种 渠道 收集 的 数据 演 何 和信息， 竞争 情报收 集子 系统都 具备收 集 、 储的 能力。ｃ信 息分 存 析子 系统 。竞争 情 报 的分 析 是 企业 ＣＳ的 核心 。常 规 的分 析 方 Ｉ 法 诸如 Ｓ Ｔ分 析 、Ｃ ＷＯ Ｂ Ｇ产业 矩 阵 、 战略 联盟 、 归分析 法 、 回 核心
手动 向 、 制定 经营 战 略和 竞 争决 策 提供 了客 观 依据 ， 为 企业 取 成
得竞争 优势的 保障 。但 当前 企业 竞争 情报 系统 还有 很 多 的不 足 ． 特别是 对结构 化竞争 情报资 ｛的 挖掘 结果 缺乏 有 效的 评价 措 施 ， Ｉ 《 斗
在竞争对 手分 析方 面 几 乎 没有 应 用【 。本 文介 绍 了 竞争 情报 系 ２ ］ 统和模 糊 数据 挖掘 ， 把 模 糊数 据 挖掘 引入 到 竞 争情 报 系统 ， 并 解 决了企业 竞争对 手分 析 、 评价 、 预测 等同题 。
我国企业竞争情报系统研究综述
竺垦
兰兰
２ ４ １ Ｏ
兰 兰 ！兰
４ ７ ３ 暂无
篁
３ １ １０ ０
数量 （ ） １ 篇
比例 （ ） ３２ ６ ５ ２９ ３ ． １．１ ２ ８ ．８ ％ ．２ ． １．１ ２２ ２９ ２ ． ９６ ４ ５ ５
由表 １ 以看 出 。ｏ ２ ２ ０ 可 ２ ０ ～ ０ ９年 期 间 共 收 录 了 ３ １篇关 于 “ 企业 竞 争情 报 系统 ” 的学位 论文 （ 由于 系 年 来 我 国 企 业竞 争 情 报 系 统研 究的 统计 分析 ， 通 综述 了企 业 竞 争情 报 系统 研 究 的 主要 内容 ， 归纳 出 了企 业 竞
随 着全球 经济 发展一 体化 的 到来 ，企业 面对 的 各方 面 竞争越来 越 激烈 ，企业 对竞 争情 报 的需求 也 与 日俱增 。竞争 情报 的获 取 、 传递 、 应用 等一 系列 过 程需 要竞 争情报 系统 （ Ｉ ） Ｃ Ｓ 的支持 。 争情报 系统 主 竞 要是 通过 对竞争 环境 、 争对 手 、 争策 略等 的研 究 竞 竞 分 析 ， 到对 内知 己、 外知 彼 ， 企 业更 好 地 掌握 做 对 使 市场 发展动 向， 握发展 机遇 。 把
争情 报 系统 的含义 ， 内外 发展 情 况 ， 建原 则 、 国 构 指 导 思想 、 步骤 ， 其 功能作 用 。 同时也对 竞争 情报 系 及 统 模式 、信 息平 台和各 子系统 的 功能进行 了详细 的 阐述 。 后对竞 争情报 系统 的发 展趋势 进行 了探讨 。 最 学 位论文 共有 ３ 篇 ， １ 全部 为硕 士论文 。其 主要 内容 涉及 到 以下方 面 ：竞 争情 报系 统 的技 术应 用研 究。 包括 基于 数据库 的 企业 竞争 情报 研究 、 于 内容 基 管理 的企业竞 争 情报研 究 、 于 Ｕ 基 ＭＬ的企 业竞 争情 报研 究 、 于 面 向对 象 技术 的企 业竞 争情 报研究 、 基 基
《企业竞争情报》讲义大纲
7。1。2弱联系优势理论和结构洞理论
7.1.3强联系效应
7.1.4社会资本负债理论
7。2行为科学理论在人际竞争情报中的拓展
7。2。1人格特质理论
7.2.2人际吸引理论
7.2.3群体结构理论
7.2.4群体过程理论
7。3人际竞争情报研究基本方法——网络建模
7.3.1人际竞争情报网络建模对象确定原则
3．5．4研究结果
习题
第四章企业竞争情报活动模式与规划
4．1常规模式
4．1．1美国竞争情报循环模式
4．1．2科特勒的竞争对手分析链
4．1．3包昌火教授模式
4．2竞争情报活动规划
4．2．1确定竞争情报目标
4．2．2确定情报搜集主题
4．3主要情报源
4．3．1信息源分类
4．3．2竞争情报常用的信息源
4．3．3国内主要的竞争情报服务提供商
7.3。2人际竞争情报网络模型描述
7．3．3人际竞争情报网络模型分析
7.3。4人际竞争情报网络动态研究
7。4基于人际网络节点中心度的竞争对手分析
7．4．1度中心程度对竞争对手分析的意义
7．4．2接近中心对竞争对手分析的意义
7．4．3节点的中介中心指标对竞争对手分析的意义
7。5基于链接的企业网络人际竞争情报分析
9．1．2其他相关评价
9．2国内竞争情报软件的发展评价
9．3竞争情报软件发展趋势分析
9．3．1竞争情报软件规划功能的展望
9．3．2竞争情报软件信息搜集功能的展望
9．3．3竞争情报软件分析功能的展望
9．3．4竞争情报软件发布功能的展望
9。4基于综合集成研讨厅的企业竞争情报系统研究
9．4．1从定性到定量竞争情报综合集成方法
基于数据挖掘技术的企业决策支持系统研究
基于数据挖掘技术的企业决策支持系统研究随着信息技术的不断发展，数据变得越来越容易获得和积累。
但是数据的管理和分析是一项复杂的工作。
在商业领域，企业需要根据大量的数据做出决策。
这就需要采用数据挖掘技术来分析和挖掘数据中隐藏的信息，以提升企业的决策能力。
本文将介绍基于数据挖掘技术的企业决策支持系统的研究。
一、企业决策支持系统的定义企业决策支持系统（DSS）是一种应用计算机技术和信息技术的管理信息工具，旨在辅助人类在复杂决策情境下作出理性和有效的决策。
DSS采用各种技术，包括数据挖掘、人工智能、专家系统和模拟，以及其他决策支持工具。
它们可以使用现有的数据和信息，同时也可以利用外部数据来支持决策。
二、数据挖掘技术在企业决策支持系统中的应用数据挖掘是一种从大型数据集中提取知识的过程。
它利用计算机技术来分析数据，揭示数据中隐藏的模式和关系。
数据挖掘技术在DSS中的应用非常广泛，包括以下方面：1. 数据预处理数据预处理是数据挖掘的第一步，目的是将原始数据转换为便于分析的数据。
常见的数据预处理包括数据清理、数据集成、数据转换和数据归约等步骤。
2. 模式识别模式识别是数据挖掘的重要任务之一，主要用于寻找数据集中的异常和规律。
模式识别技术包括聚类、分类、关联规则挖掘和异常检测等。
3. 决策树决策树是一种重要的数据挖掘技术，它可以将决策问题转化为一棵树。
在该树的每个节点上，都是一个决策的结果。
而在每个分支上，都是一个问题的选项。
决策树可以帮助企业管理者以可视化的方式了解决策问题的过程。
4. 聚类分析聚类分析也是企业决策支持系统中的重要技术之一。
它可以将数据集中的对象分成若干个组，使得同一组内的对象具有相似的性质。
聚类分析可以帮助企业管理者在大量的数据中寻找到一些共性和规律，为做出决策提供依据。
5. 关联规则挖掘关联规则挖掘是一种在数据集中查找频繁项集（即一组经常同时出现的项）和关联规则（即一些项之间的关联）的技术。
它可以帮助企业管理者找到产品之间的关系，或是分析市场的趋势和客户的需求信息等。
网络信息挖掘在竞争情报工作中的应用
总部位于北京 ， 是 中国最大最全 的网上 综合商城 ，销售图书 、电脑 等 ２ ８大类 ５ ０ ０多万种产品。卓 越网上书店的业务
日志挖掘相关信 息 ， 发 现其 中需要改 善 的页面设计 或页面间关系 ， 采取行之 有
效 的 实施 方 法 优 化 网站 结 构 ， 保 证 顾 客
进 Ｗｅ ｂ服 务 器 的性 能 ， 增 强 对 最 终 用 户
（ ２ ） 卓 越网上 书店 竞争对手信 息的
挖掘 。
参 考文献
【 １ 】 黄君羡 ， 欧薇． 浅谈互联 网信息挖掘技
术【 Ｊ ］ ． 广东交通职业技 术学 院学报 ， ２ ０ ０ ３
（ ４ ） ： ３ ７ — ３ ９ ．
（ ２ ） 网络信息 挖掘在竞争情 报工作
中 的应 用 。
技术 在卓 越 网上 书店 中的应用 主要 体
现 在 以下 几 个 方 面 。
① 充分获取 、 开发和利用竞 争对手 的信息。 在市场 经济条件下 ， 企业 之间 的竞
争 日趋 激 烈 。准 确 判 别 竞 争 对 手并 深 入
户端访 问路径 等私有信息 的方 法 ， 有效 识别竞争对手 ， 保护企业特有信息 。 ３ ． 网络信 息挖掘在竞争情报 工作 中
的应用实例——卓越 网上书店的应 用
（ １ ） 卓越 网上书店客户信息的挖掘。 在网络环境下 ， 网上 书店是个虚拟 社区， 顾客具 有很 大的 自主性 ， 网上 书 店应 该利 用数 据挖 掘技术 对 客户 的消 费信 息进 行挖 掘 ，分析 用户 的购买 习 惯， 对 顾客进 行分 类 ， 同时预 测顾 客需 求， 提高个性化 服务 。卓越 网建 立 了顾 客的数据资料 ， 并按顾 客特 ￣ｘ ｌ ， － 大批顾 客群进行分类 ， 经常 以电话 、 书信 、 礼 品 等手段实施感情 服务 ， 培养 了一 大批 忠 实的用 户 ， 防止客户 流失 。
基于互联网的数据挖掘技术在竞争情报收集中的应用
基于互联网的数据挖掘技术在竞争情报收集中的应用摘要本文主要提出了一个将数据挖掘技术应用到基于互联网的竞争情报收集子系统的框架，这个框架可以让internet竞争情报收集工作变的有条不紊。
关键词数据挖掘；web挖掘；竞争情报中图分类号tp311 文献标识码a 文章编号 1674-6708（2011）39-0206-021 internet情报收集子系统概述一个企业要进行竞争情报的研究，应该建立自己的基于网络环境的竞争情报系统——竞争情报网络系统是围绕企业的经营战略目标，以现代信息技术（尤其是网络技术）为主要手段，对企业内部和外部的竞争要素，竞争环境以及竞争对手的信息进行收集、存储、处理与分析研究的新一代综合性网络系统。
系统有3部分组成：竞争情报收集子系统、竞争情报分析子系统和竞争情报服务子系统。
竞争情报收集子系统是根据事先确立的情报课题，收集、整理各种信息，初步筛选，同时作好文件、记录等资料的保管及定期归档工作。
竞争情报分析子系统是应用恰当的分析方法与技术，深入分析竞争情报收集子系统的信息，生产竞争情报产品。
竞争情报服务子系统是以各种适当的方式包装竞争情报产品，及时将产品传送到情报用户手中去，并为企业决策层提供快捷的浏览、查询服务和情报服务。
以企业现有技术和信息资源为核心，以网络为基础的现代竞争情报系统共分3个层次：第一个层次是企业内部网。
它利用internet技术把企业内部所有的信息资源集成起来，把各子公司、各部门联系起来，实现企业内部的信息共享与协同作业；第二层次是企业外联网，它将internet技术应用于企业间的信息系统，把与企业有业务合作关系的交易伙伴、合作对象、相关公司以及主要客户连成一体；第三层次是因特网，它是覆盖全世界范围的网络，通过它可以使国内外企业、远程用户、异地资源得以联合，实现资源共享，沟通合作。
2 数据挖掘技术在internet情报收集子系统的应用2.1 公共信息挖掘系统随着internet的迅速发展，在internet上储备了大量的信息，这些信息是零散的分布在全球的各个位置上，也就是分布在各个不同的计算机服务器上，那么我们如何来更好的找到并利用这些信息，成为了竞争情报工作中一个非常重要的课题研究。
近十年我国企业竞争情报系统研究热点与趋势
近十年我国企业竞争情报系统研究热点与趋势摘要：本吏首先介绍了国内外关于竞争情报系统定义的主要观点。
随后主要选取了近十年刊登在《情报学报》、《情报科学》和《情报杂志》等学刊上关于竞争情报系统的论文，对其进行归纳总结，找出了近十年来我国竞争情报系统研究的主要几个热点问题及企业竞争情报系统的发展趋势。
关键词：竞争情报；企业竞争情报系统；热点；趋势一、竞争情报系统概述企业竞争在当前日趋激烈，作为企业竞争制胜先导和基础的竞争情报，正愈来愈受到企业和学术理论界的重视，不少的企业正在或将要建立自己的竞争情报系统。
目前我国最流行的竞争情报系统的定义可以归纳为两种。
第一种定义认为竞争情报系统就是计算机系统。
王沙骋等指出，企业竞争情报系统是指将反映企业自身、竞争对手和企业外部环境的时间状态和变化的数据、信息及情报进行收集、存储、处理及分析，并以适当的方式发布给企业有关战略管理人员的计算机应用系统，是基于计算机和网络环境的、由先进的信息技术支持的企业竞争情报辅助分析计算机系统。
我国讨论竞争情报涉及计算机网络的专家多数持这种看法，国外也有很多人持这种看法。
第二种定义把竞争情报系统视为人机系统。
这种观点是我国竞争情报的先驱包昌火先生提出来的：竞争情报系统是以人的智能为主导、信息网络为手段、增强企业竞争力为目标的人机结合的竞争战略决策支持和咨询系统。
按包昌火先生的定义，竞争情报系统核心就是人和计算机。
澳门理工学院社会经济研究所曾忠禄先生分析综合了以上三大类定义的优缺点，他认为，目前竞争情报系统的定义是存在缺陷的，它们都只包括了竞争情报体系的部分内容，除缺乏全面性外，它们还有另外一个缺陷，即忽略了竞争情报系统各构成因素之间的相互联系和互相依赖关系。
缺乏将各部分联系起来的“关系”，它们就不能成为“系统”。
他认为，竞争情报系统是为用户的需要创造情报产品的体系，它由相互联系、相互影响的功能、结构(资源)和方法(流程)组成，各构成部分有机地联系在一起，并随着外部环境的变化而动态发展。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期:2007 07 12基金项目:本文是河南省教育厅自然科学基金项目(编号:200787003)的研究成果之一。
作者简介:闫晓妍(1985 ),女,郑州大学信息管理系06级硕士研究生,研究方向:网络信息资源管理,已发表论文1篇。
基于数据挖掘技术的企业智能竞争情报系统研究闫晓妍(郑州大学,郑州450001)摘 要! 现代意义的企业竞争是经济发展的动力所在,许多大中型企业都非常重视竞争情报策略的制定,纷纷建立企业竞争情报系统,以提高企业竞争力。
随着网络技术、数据库技术的不断发展,将数据挖掘技术引入企业竞争情报系统是一个崭新的、有重要意义的课题。
本文从数据挖掘的含义和一般过程入手,分析了数据挖掘的相关技术及数据挖掘在企业竞争情报系统中的应用,重点探讨如何构建基于数据挖掘技术的企业竞争情报系统。
关键词! 数据挖掘;竞争情报;企业竞争情报系统Abstract ! Modern competition between en terprises is the dynamic force of economy.Many large enterpri ses pay more attention to information strategy,and they build enterp r i se competi tion intelli gence systems in order to enhance their competitive abili ty.Along with the development of network technology and data base technology ,enterprise com petition intelligence systems based on data mining is a new and i mportant topic.T his paper introduces the concep t of da ta mining and the general process,analyzes relevant technologies and its applications in the enterprise competition intel li gence system,then discusses how to build enterprise competiti on system based on data mining to strengthen the com petitive of enterprise.Key words ! data mining;competi tive intelli gence;enterprise competitive in telligence system中图分类号!F270 05文献标识码!A文章编号!1008-0821(2007)11-0187-03现代意义的企业竞争是经济发展的动力所在,∀适者生存,优胜劣汰#这一市场竞争法则的客观存在迫使企业必须不断提高自身的竞争力。
企业想要顺应环境变化,做出最优决策,赢得竞争优势,就必须在充分了解和分析竞争环境及竞争对手的基础上,制定科学的竞争战略。
竞争情报可以说是企业赖以生存的继人才、资金、技术之后的第四种要素,是现代企业竞争战略的关键部分。
1 企业竞争情报与竞争情报系统∀竞争情报#是从英文Competiti ve Intelligence 翻译过来的,简称CI 。
关于竞争情报,国际上有来自不同领域、不同研究方向的学者的多种解释,如Cottrill 和Kotler 、斯丹文∃德迪约的过程说,认为竞争情报是一种过程,即情报的采集、加工和分析过程;也有不少学者认为竞争情报是一种产品,是上述过程的产物,德迪约∃伯恩哈特、戈登都持有此观点。
我国学者包昌火认为:∀竞争情报是关于竞争环境、竞争对手和竞争策略的信息和研究。
它既是一种过程,又是一种产品。
过程是对竞争情报的搜集和分析;产品是指由此形成的情报或策略。
#竞争情报的目的是为企业经营决策提供情报保障,提高企业的核心竞争力。
企业竞争情报系统是企业为了增强竞争力而建立起来的,以人工智能为主导、信息网络为手段,人机结合的战略决策系统和咨询系统。
竞争情报系统通过对竞争对手的追踪分析及企业自身和外部竞争环境的相关竞争性情报的收集、存储、处理、分析,并以适当方式为企业决策者提供信息支持。
数据挖掘过程主要通过聚类分析(clustering/segmentation )、可视化(visualization)、预测模型(predictivemodeling)、分析关联(link analysis)、偏差检测(deviationdetection)、建立依赖模型(dependency modeling)和概括总结(summarization)。
在国外,数据挖掘主要应用在金融业、零售业等行业,涉及市场营销、风险管理、欺诈侦测(Fraud detection)、客户关系的建立和维护等过程。
2 数据挖掘数据挖掘(Data Mining)是指从大型数据库或数据仓库中的大量数据中提取辅助决策的关键性知识,这些知识是隐含的、未知的、非平凡的及潜在有用的信息或模式,其目的是为了提高市场决策能力、环境监视、风险预警、在经验模型基础上预测未来趋势等,把握行业结构的进化,跟踪正在出现的连续性和非连续性变化,以及分析现有和潜在竞争对手的能力和方向,从而帮助企业赢得竞争优势。
这些知识的表现形式可以是概念(Concepts )、规则(Rules)、规律(Regulari ties)、模式(Partems)、约束(Con straints)、可视化(Visualizations)等。
2 1 数据挖掘的一般过程数据挖掘是一种新的信息处理技术,其主要特点是对数据库中的大量数据进行抽取、转换、分析和其他模型化处理,并从中提取辅助决策的关键性数据。
数据挖掘过程包括数据准备、挖掘过程和模式的解释和评价等几个阶段。
数据挖掘的一般过程如图1所示。
2 1 1 数据准备阶段数据准备对于数据挖掘的成功应用至关重要,数据准备阶段需要进行数据集成、数据选择、数据缩减和转化。
数据集成从多个文件、异构数据库中提取并集成数据,需187 2007年11月第11期November 2007No.11现代情报%企业情报工作图1 数据挖掘的一般过程要解决语义二义性,规范数据格式,消除冗余、重复的数据,同时对数据进行清洗,消除噪声数据、异常数据及不完整数据;数据选择是在相关领域专家知识的指导下,辨别出需要进行分析的数据,缩小处理范围,提高数据挖掘的效率和质量;另外在数据在经过挖掘前,必须要加以精炼处理,降低复杂数据的维数,减少有效变量的个数,以减轻数据挖掘工作的复杂性。
2 1 2 挖掘知识和信息挖掘知识和信息是数据挖掘过程的重要环节,包括确定挖掘的任务类型,即首先提出数据挖掘的假设,并通过数据挖掘过程来验证这个假设。
在确定挖掘任务的基础上,选择合适的挖掘技术,不同类型的数据有不同的特点,特定的用户有特定的需求,数据挖掘应该选用与之相关的算法来实现,如分类模型常用决策树来实现,聚类常使用聚类分析技术,关联发现和序列发现常用来挖掘数据间的依赖关系。
然后根据选定的算法,确定适当的模型和参数集合,在模式空间进行反复迭代搜索,直至从数据集合中抽取出隐藏的、新颖的模式。
2 1 3 模式的解释和评价根据用户的决策目标,对数据挖掘的模式进行解释和评价,过滤出有用的知识。
数据挖掘阶段发现的模式可能不满足用户要求,这些模式需要经过进一步处理,包括消除无关的、多余的模式,过滤出支持企业决策的关键信息,利用可视化技术将有潜在有用的模式以图形或逻辑可视化的形式表示,转化为用户可理解的语言。
此外还包括解决发现结果与以前知识的冲突,利用统计方法对模式进行评价,可通过反复多次的挖掘,重新选取数据,调整参数,以得到最优、最适合的模式。
2 2 数据挖掘的关键技术数据挖掘是综合运用统计学、数据库、机器学习、神经网络、经济计量学等多门学科的技术,尤其是近几年来,自然语言理解、语义关联分析、词频分布统计、语料学研究等可以用于进行情报分析的技术方法和工具,已经成为数据挖掘技术的重要研究方向,并形成了大量软件产品。
2 2 1 关联规则分析法关联规则是指在数据库的记录中挖掘出满足一定条件的依赖关系,它揭示出数据间未知的依赖关系,实际上就是数据对象之间相关性的确定,用关联找出所有能将一组数据项和另一组数据项相联系的规则,这种规则的建立通常并不是确切的关系,而是具有一定置信度的可能值,一般用∀支持度#和∀可信度#来测度以淘汰那些无用的关联规则。
关联规则分析法可用于超市的货架摆放和库存预警以及潜在顾客发现。
2 2 2 决策树分析法决策树是一种树型结构的预测模型,决策树分析首先利用决策树算法寻找数据库中具有最大信息量的属性作为训练集建立决策树的根节点,再根据属性值大于或小于根节点的属性值建立树的分支,直至所有的属性都被归入树型结构中,然后对决策树进行剪枝处理,最后把决策树转化为规则,即从每一个叶节点得出决策规则。
其中树的非终端节点表示属性,叶节点表示所属的不同类别。
与神经元网络最大的不同在于其决策制定的过程是可见的,其输出结果较为直观、易于理解。
决策树方法主要用于分类挖掘,通常用于市场细分、产品定位、贷款风险分析等。
2 2 3 最近相邻技术最近相邻技术就是依据∀Do as your neighbors do #原则,相邻的数据必然有相近的属性或行为的规律,通过发现那些接近新情况的旧情况,并假设新情况的结果将于那些旧情况(已知案例)的大多数一致,即通过K 个与之最相近的历史记录的组合来辨别新的记录,有时也称这种技术为与K 最近邻方法。
最近相邻技术可以用于聚类、偏差分析等任务。
2 2 4 人工神经网络人工神经网络是一种通过训练来学习的非线性预测模型,具有对非线性系统数据的快速拟合能力,可以完成分类、聚类、特征提取等多种数据挖掘任务。
其最大特点在于它具有学习能力,可以通过学习大量样本数据,来获取输入、输出之间的函数关系。
人工神经网络采用信息分布式存储方式,具有很强的联想能力,而且识别速度快,很适合处理大量的数据,进行海量数据挖掘。
人工神经网络在事务数据库的分析和建模方面应用广泛。
2 2 5 可视化采用直观的图形方式将信息模式、数据的关联或趋势呈现给决策者,决策者可以通过可视化技术交互的分析数据。
这是一类辅助方法,数据可视化极大的扩展了数据表达能力和人们对数据的理解能力,这在数据挖掘中是非常重要的。