web数据挖掘考试重点
数据挖掘考试题及答案

数据挖掘考试题及答案### 数据挖掘考试题及答案#### 一、选择题(每题2分,共20分)1. 数据挖掘的目的是发现数据中的:- A. 错误- B. 模式- C. 异常- D. 趋势答案:B2. 以下哪项不是数据挖掘的常用算法:- A. 决策树- B. 聚类分析- C. 线性回归- D. 神经网络答案:C3. 关联规则挖掘中,Apriori算法用于发现:- A. 频繁项集- B. 异常值- C. 趋势- D. 聚类答案:A4. K-means算法是一种:- A. 分类算法- B. 聚类算法- C. 预测算法- D. 关联规则挖掘算法答案:B5. 以下哪个指标用于评估分类模型的性能:- A. 准确率- B. 召回率- C. F1分数- D. 所有以上答案:D#### 二、简答题(每题10分,共30分)1. 描述数据挖掘中的“过拟合”现象,并给出避免过拟合的策略。
答案:过拟合是指模型对训练数据拟合得过于完美,以至于失去了泛化能力。
避免过拟合的策略包括:使用交叉验证、正则化技术、减少模型复杂度、获取更多的训练数据等。
2. 解释什么是“数据清洗”以及它在数据挖掘中的重要性。
答案:数据清洗是指从原始数据中识别并纠正(或删除)错误、重复或不完整的数据的过程。
它在数据挖掘中至关重要,因为脏数据会导致分析结果不准确,影响最终的决策。
3. 描述“特征选择”在数据挖掘中的作用。
答案:特征选择是数据挖掘中用来降低数据维度、提高模型性能和减少计算成本的过程。
通过选择最有信息量的特征,可以去除冗余或无关的特征,从而提高模型的准确性和效率。
#### 三、应用题(每题25分,共50分)1. 假设你正在分析一个电子商务网站的用户购买行为,描述你将如何使用数据挖掘技术来识别潜在的营销机会。
答案:首先,我会使用聚类分析来识别不同的用户群体。
然后,通过关联规则挖掘来发现不同用户群体的购买模式。
接着,利用分类算法来预测用户可能感兴趣的产品。
(完整版)数据挖掘考试题库

1.何谓数据挖掘?它有哪些方面的功能?从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。
相关的名称有知识发现、数据分析、数据融合、决策支持等。
数据挖掘的功能包括:概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。
2.何谓粒度?它对数据仓库有什么影响?按粒度组织数据的方式有哪些?粒度是指数据仓库的数据单位中保存数据细化或综合程度的级别。
粒度影响存放在数据仓库中的数据量的大小,同时影响数据仓库所能回答查询问题的细节程度。
按粒度组织数据的方式主要有:①简单堆积结构②轮转综合结构③简单直接结构④连续结构3.简述数据仓库设计的三级模型及其基本内容。
概念模型设计是在较高的抽象层次上的设计,其主要内容包括:界定系统边界和确定主要的主题域。
逻辑模型设计的主要内容包括:分析主题域、确定粒度层次划分、确定数据分割策略、定义关系模式、定义记录系统。
物理数据模型设计的主要内容包括:确定数据存储结构、确定数据存放位置、确定存储分配以及确定索引策略等。
在物理数据模型设计时主要考虑的因素有: I/O存取时间、空间利用率和维护代价等。
提高性能的主要措施有划分粒度、数据分割、合并表、建立数据序列、引入冗余、生成导出数据、建立广义索引等。
4.在数据挖掘之前为什么要对原始数据进行预处理?原始业务数据来自多个数据库或数据仓库,它们的结构和规则可能是不同的,这将导致原始数据非常的杂乱、不可用,即使在同一个数据库中,也可能存在重复的和不完整的数据信息,为了使这些数据能够符合数据挖掘的要求,提高效率和得到清晰的结果,必须进行数据的预处理。
为数据挖掘算法提供完整、干净、准确、有针对性的数据,减少算法的计算量,提高挖掘效率和准确程度。
5.简述数据预处理方法和内容。
①数据清洗:包括填充空缺值,识别孤立点,去掉噪声和无关数据。
②数据集成:将多个数据源中的数据结合起来存放在一个一致的数据存储中。
数据挖掘期末考试题库

数据挖掘期末考试题库
进行数据挖掘期末考试前,老师通常会准备一份题库,供学生参考复习。
这个题库包含了一系列的问题,涵盖了数据挖掘的各个方面。
以下是一个示例的数据挖掘期末考试题库,供同学们参考:
1. 什么是数据挖掘?数据挖掘的主要目标是什么?
2. 请简要介绍数据挖掘的主要过程。
3. 数据挖掘中常用的数据预处理方法有哪些?请分别进行介绍。
4. 数据挖掘中常用的特征选择方法有哪些?请分别进行介绍。
5. 数据挖掘中常用的分类算法有哪些?请分别进行介绍。
6. 数据挖掘中常用的聚类算法有哪些?请分别进行介绍。
7. 数据挖掘中常用的关联规则挖掘算法有哪些?请分别进行介绍。
8. 什么是异常检测?数据挖掘中常用的异常检测方法有哪些?请分别进行介绍。
9. 数据挖掘中的交叉验证是什么?请简要说明。
10. 数据挖掘中如何评估分类算法的性能?请简要说明评估指标。
11. 数据挖掘中如何评估聚类算法的性能?请简要说明评估指标。
12. 数据挖掘中如何评估关联规则挖掘算法的性能?请简要说明评估指标。
13. 数据挖掘在实际应用中的案例有哪些?请分别进行介绍。
14. 在数据挖掘过程中,如何选择适当的算法和技术?请简要说明。
15. 数据挖掘存在哪些挑战和限制?请分别进行介绍。
以上题目是一个简要的示例,涵盖了数据挖掘的基本概念、主要过程、常用方法和评估指标等方面。
同学们可以根据这些问题来进行复
习和准备,加深对数据挖掘的理解和掌握。
希望以上题库对同学们的期末考试有所帮助。
祝大家考试顺利!。
数据挖掘考试复习资料

数据挖掘考试复习资料一、名词解释1、数据仓库:面向主题的、集成的、非易失的、是随时间变化的数据集合,用来支持管理决策.2、聚类:将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类3、数据挖掘:从大量的数据中挖掘那些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识4、人工神经网络:人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。
在工程与学术界也常直接简称为神经网络或类神经网络.5、文本挖掘:文本数据挖掘(Text Mining)是指从文本数据中抽取有价值的信息和知识的计算机处理技术6、OLAP:又称联机分析处理,是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业为特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
定义1:OLAP是针对特定问题的联机数据访问和分析。
通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入地观察。
定义2:OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业“维”特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
)7、概念描述:就是对目标类对象的内涵进行描述,并概括这类对象的有关特征.特征化:提供给定数据汇集的简洁汇总比较:提供两个或多个数据汇集的比较描述8、信息熵:在信息论中,熵被用来衡量一个随机变量出现的期望值.它代表了在被接收之前,信号传输过程中损失的信息量,又被称为信息熵。
信息熵也称信源熵、平均自信息量。
二、简答题1、数据仓库和传统数据库的区别和联系是什么?(1)区别:数据仓库和数据库是不同的概念数据仓库是一个综合的解决方案,而数据库只是一个现成的产品。
数据仓库需要一个功能十分强大的数据库引擎来驱动,它更偏向于工程。
数据挖掘考试题库及答案

数据挖掘考试题库及答案一、选择题1. 数据挖掘是从大量数据中提取有价值信息的过程,以下哪项不是数据挖掘的主要任务?A. 预测B. 分类C. 聚类D. 数据可视化答案:D2. 以下哪种技术不属于数据挖掘的常用方法?A. 决策树B. 支持向量机C. 关联规则D. 数据仓库答案:D3. 数据挖掘中,以下哪项技术常用于分类和预测?A. 神经网络B. K-均值聚类C. 主成分分析D. 决策树答案:D4. 在数据挖掘中,以下哪个概念表示数据集中的属性?A. 数据项B. 数据记录C. 数据属性D. 数据集答案:C5. 数据挖掘中,以下哪个算法用于求解关联规则?A. Apriori算法B. ID3算法C. K-Means算法D. C4.5算法答案:A二、填空题6. 数据挖掘的目的是从大量数据中提取______信息。
答案:有价值7. 在数据挖掘中,分类任务分为有监督学习和______学习。
答案:无监督8. 决策树是一种用于分类和预测的树形结构,其核心思想是______。
答案:递归划分9. 关联规则挖掘中,支持度表示某个项集在数据集中的出现频率,置信度表示______。
答案:包含项集的记录中同时包含结论的记录的比例10. 数据挖掘中,聚类分析是将数据集划分为若干个______的子集。
答案:相似三、判断题11. 数据挖掘只关注大量数据中的异常值。
()答案:错误12. 数据挖掘是数据仓库的一部分。
()答案:正确13. 决策树算法适用于处理连续属性的分类问题。
()答案:错误14. 数据挖掘中的聚类分析是无监督学习任务。
()答案:正确15. 关联规则挖掘中,支持度越高,关联规则越可靠。
()答案:错误四、简答题16. 简述数据挖掘的主要任务。
答案:数据挖掘的主要任务包括预测、分类、聚类、关联规则挖掘、异常检测等。
17. 简述决策树算法的基本原理。
答案:决策树算法是一种自顶向下的递归划分方法。
它通过选择具有最高信息增益的属性进行划分,将数据集划分为若干个子集,直到满足停止条件。
web数据挖掘__12复习

Sequential pattern mining
Summary
16
什么是关联挖掘?
关联规则挖掘: 在交易数据、关系数据或其他信息载体中,查找存在于项 目集合或对象集合之间的频繁模式、关联、相关性、或因 果结构。 应用: 购物篮分析、交叉销售、产品目录设计、聚集、分类等。 举例: 规则形式: “Body ead [support, confidence]‖. buys(x, ―diapers‖) buys(x, ―beers‖) [0.5%, 60%] major(x, ―CS‖) ^ takes(x, ―DB‖) grade(x, ―A‖) [1%, 75%]
查找所有的规则 X &Y Z 具有最
小支持度和可信度
支持度, s, 一次交易中包含{X 、 Y 、
买啤酒的客户
Z}的可能性 可信度, c, 包含{X 、 Y}的交易中也 包含Z的条件概率
购买的商品 A,B,C A,C A,D B,E,F
设最小支持度为50%, 最小可信度为 50%, 则 可得到 A C (50%, 66.6%) C A (50%, 100%)
31
Chapter 3: Supervised Learning
Road Map
Basic concepts Decision tree induction Evaluation of classifiers Classification using association rules Naï ve Bayesian classification Naï ve Bayes for text classification Support vector machines
数据挖掘考试题库

1 数据清洗:包括填充空缺值,识别孤立点,去掉噪声和无关数 据。
13. 预测型知识:是根据时间序列型数据,由历史的和当前的数据 去推测未来的数据,也可以认为是以时间为关键属性的关联知 识。
14. 偏差型知识:是对差异和极端特例的描述,用于揭示事物偏离 常规的异常现象,如标准类外的特例,数据聚类外的离群值 等。
15. 遗传算法:是一种优化搜索算法,它首先产生一个初始可行解 群体,然后对这个群体通过模拟生物进化的选择、交叉、变异 等遗传操作遗传到下一代群体,并最终达到全局最优。
融合、决策支持等。 数据挖掘的功能包括:概念描述、关联分析、分类与预测、聚
类分析、趋势分析、孤立点分析以及偏差分析等。 2. 何谓数据仓库?为什么要建立数据仓库?
数据仓库是一种新的数据处理体系结构,是面向主题的、集成 的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集 合,为企业决策支持系统提供所需的集成信息。
当前数据
历史数据
经常更新
不更新,但周期性刷新
一次性处理的数据量小 一次处理的数据量大
对响应时间要求高
响应时间合理
用户数量大
用户数据相对较少
面向操作人员,支持日 面向决策人员,支持管
常操作
理需要
面向应用,事务驱动 面向分析,分析驱动
5. 何谓粒度?它对数据仓库有什么影响?按粒度组织数据的方式 有哪些? 粒度是指数据仓库的数据单位中保存数据细化或综合程度的级
2、 判断题 ( )1. ( )2. ( )3. ( )4. ( )5. ( )6. ( )7. ( )8. ( )9. (
网络数据挖掘考试重点

《Web Data mining》复习与总结一、课程主要内容数据挖掘概述+WEB数据挖掘数据挖掘(ch1 概述):又被称为数据库中的知识发现(KDD)。
是指从数据源(如DB、文本、图片、万维网等)探寻有用的模式或知识的过程。
这些模式必须是有用的、有潜在价值的、并且是可以被理解的。
数据挖掘是一门多学科交叉的学科,包括机器学习、统计、数据库、人工智能、信息检索和可视化。
WEB数据挖掘(ch6-12)的目标是从web超链接、网页内容和使用日志中探寻有用的信息。
依据挖掘过程中使用的数据类别,web挖掘的任务划分为三种主要的类型:web结构挖掘、web内容挖掘和web使用挖掘。
web结构挖掘:从表征web结构的超链接中寻找知识。
Ch6-ch8:信息检索与web搜索;链接分析;web爬取。
web内容挖掘:从网页内容中抽取有用的信息和知识。
Ch9-ch11:结构化数据抽取:包装器生成;信息集成;观点挖掘。
web使用挖掘:从记录每位用户点击情况的使用日志中挖掘用户的访问模式。
Ch12:web使用挖掘二、各章主要知识点(一)(ch1)概述——主要知识点1、万维网、超文本、超链接、超媒体的概念;2、HTTP,HTML,URL,WEB,TCP/IP的含义;3、Web数据的特点:P5-6;4、数据挖掘的定义、数据挖掘任务、KDD过程、KDD的数据类型等;5、Web数据挖掘的定义、分类、web数据挖掘过程等。
6、关联规则、列模式挖掘、分类与预测、聚类挖掘的基本概念及挖掘思想。
WEB结构挖掘:包括——信息检索与WEB搜索、链接分析、WEB爬取(二)(ch6)信息检索与web搜索1、基本概念:(1)信息检索IR:即帮助使用者从大号的数据集信息中发现需要的资料。
了信息的采集、组织、存储、检索及分发。
根据用户的查询信息得到相应的一组文档,得到的结果根据其与用户查询信息的相关程序排序,最常用的用户查询信息是一组关键字(又称词)。
其基本信息是单个文档,大量的文档形成文本数据库。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
填空或简答:1. 数据、信息和知识是广义数据表现的不同形式。
2. 主要知识模式类型有:广义知识,关联知识,类知识,预测型知识,特异型知识3. web挖掘研究的主要流派有:Web结构挖掘、Web使用挖掘、Web内容挖掘4. 一般地说,KDD是一个多步骤的处理过程,一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。
5. 数据库中的知识发现处理过程模型有:阶梯处理过程模型,螺旋处理过程模型,以用户为中心的处理结构模型,联机KDD模型,支持多数据源多知识模式的KDD处理模型6. 粗略地说,知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段,其中后面两种反映了目前知识发现软件的两个主要发展方向。
7. 决策树分类模型的建立通常分为两个步骤:决策树生成,决策树修剪。
8. 从使用的主要技术上看,可以把分类方法归结为四种类型:a) 基于距离的分类方法b) 决策树分类方法c) 贝叶斯分类方法d) 规则归纳方法9. 关联规则挖掘问题可以划分成两个子问题:a) 发现频繁项目集:通过用户给定Minsupport ,寻找所有频繁项目集或者最大频繁项目集。
b) 生成关联规则:通过用户给定Minconfidence ,在频繁项目集中,寻找关联规则。
10. 数据挖掘是相关学科充分发展的基础上被提出和发展的。
主要的相关技术:数据库等信息技术的发展统计学深入应用人工智能技术的研究和应用11. 衡量关联规则挖掘结果的有效性:应该从多种综合角度来考虑:a准确性:挖掘出的规则必须反映数据的实际情况。
b实用性:挖掘出的规则必须是简洁可用的。
c新颖性:挖掘出的关联规则可以为用户提供新的有价值信息。
12. 约束的常见类型有:单调性约束;反单调性约束;可转变的约束;简洁性约束.13. 根据规则中涉及到的层次,多层次关联规则可以分为:同层关联规则:如果一个关联规则对应的项目是同一个粒度层次,那么它是同层关联规则。
层间关联规则:如果在不同的粒度层次上考虑问题,那么可能得到的是层间关联规14. 按照聚类分析算法的主要思路,聚类方法可以被归纳为如下几种。
划分法:基于一定标准构建数据的划分。
属于该类的聚类方法有:k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。
层次法:对给定数据对象集合进行层次的分解。
密度法:基于数据对象的相连密度评价。
网格法:将数据空间划分成为有限个单元(Cell)的网格结构,基于网格结构进行聚类。
模型法:给每一个簇假定一个模型,然后去寻找能够很好的满足这个模型的数据集。
15. 类间距离的度量主要有:最短距离法:定义两个类中最靠近的两个元素间的距离为类间距离。
最长距离法:定义两个类中最远的两个元素间的距离为类间距离。
中心法:定义两类的两个中心间的距离为类间距离。
类平均法:它计算两个类中任意两个元素间的距离,并且综合他们为类间距离:离差平方和。
16. 层次聚类方法具体可分为:凝聚的层次聚类:一种自底向上的策略,首先将每个对象作为一个簇,然后合并这些原子簇为越来越大的簇,直到某个终结条件被满足。
分裂的层次聚类:采用自顶向下的策略,它首先将所有对象置于一个簇中,然后逐渐细分为越来越小的簇,直到达到了某个终结条件。
层次凝聚的代表是AGNES算法。
层次分裂的代表是DIANA算法。
17. 文本挖掘(TD)的方式和目标是多种多样的,基本层次有:关键词检索:最简单的方式,它和传统的搜索技术类似。
挖掘项目关联:聚焦在页面的信息(包括关键词)之间的关联信息挖掘上。
信息分类和聚类:利用数据挖掘的分类和聚类技术实现页面的分类,将页面在一个更到层次上进行抽象和整理。
自然语言处理:揭示自然语言处理技术中的语义,实现Web内容的更精确处理。
18. 在web访问挖掘中常用的技术:路径分析路径分析最常用的应用是用于判定在一个Web站点中最频繁访问的路径,这样的知识对于一个电子商务网站或者信息安全评估是非常重要的。
关联规则发现使用关联规则发现方法可以从Web访问事务集中,找到一般性的关联知识。
序列模式发现在时间戳有序的事务集中,序列模式的发现就是指找到那些如“一些项跟随另一个项”这样的内部事务模式。
分类发现分类规则可以给出识别一个特殊群体的公共属性的描述。
这种描述可以用于分类新的项。
聚类可以从Web Usage数据中聚集出具有相似特性的那些客户。
在Web事务日志中,聚类顾客信息或数据项,就能够便于开发和执行未来的市场战略。
19. 根据功能和侧重点不同,数据挖掘语言可以分为三种类型:数据挖掘查询语言:希望以一种像SQL这样的数据库查询语言完成数据挖掘的任务。
数据挖掘建模语言:对数据挖掘模型进行描述和定义的语言,设计一种标准的数据挖掘建模语言,使得数据挖掘系统在模型定义和描述方面有标准可以遵循。
通用数据挖掘语言:通用数据挖掘语言合并了上述两种语言的特点,既具有定义模型的功能,又能作为查询语言与数据挖掘系统通信,进行交互式挖掘。
通用数据挖掘语言标准化是目前解决数据挖掘行业出现问题的颇具吸引力的研究方向。
20. 规则归纳有四种策略:减法、加法,先加后减、先减后加策略。
减法策略:以具体例子为出发点,对例子进行推广或泛化,推广即减除条件(属性值)或减除合取项(为了方便,我们不考虑增加析取项的推广),使推广后的例子或规则不覆盖任何反例。
加法策略:起始假设规则的条件部分为空(永真规则),如果该规则覆盖了反例,则不停地向规则增加条件或合取项,直到该规则不再覆盖反例。
先加后减策略:由于属性间存在相关性,因此可能某个条件的加入会导致前面加入的条件没什么作用,因此需要减除前面的条件。
先减后加策略:道理同先加后减,也是为了处理属性间的相关性。
三个定义21. 数据挖掘定义有广义和狭义之分。
从广义的观点,数据挖掘是从大型数据集(可能是不完全的、有噪声的、不确定性的、各种存储形式的)中,挖掘隐含在其中的、人们事先不知道的、对决策有用的知识的过程。
从这种狭义的观点上,我们可以定义数据挖掘是从特定形式的数据集中提炼知识的过程。
22. web挖掘的含义:针对包括Web页面内容、页面之间的结构、用户访问信息、电子商务信息等在内的各种Web数据,应用数据挖掘方法以帮助人们从因特网中提取知识,为访问者、站点经营者以及包括电子商务在内的基于因特网的商务活动提供决策支持。
23. K-近邻分类算法(K Nearest Neighbors,简称KNN)的定义:通过计算每个训练数据到待分类元组的距离,取和待分类元组距离最近的K个训练数据,K个数据中哪个类别的训练数据占多数,则待分类元组就属于哪个类别。
两个算法的性能分析24. K-means算法的性能分析:主要优点:是解决聚类问题的一种经典算法,简单、快速。
对处理大数据集,该算法是相对可伸缩和高效率的。
当结果簇是密集的,它的效果较好。
主要缺点在簇的平均值被定义的情况下才能使用,可能不适用于某些应用。
必须事先给出k(要生成的簇的数目),而且对初值敏感,对于不同的初始值,可能会导致不同结果。
不适合于发现非凸面形状的簇或者大小差别很大的簇。
而且,它对于“躁声”和孤立点数据是敏感的。
25.ID3算法的性能分析:ID3算法的假设空间包含所有的决策树,它是关于现有属性的有限离散值函数的一个完整空间。
所以ID3算法避免了搜索不完整假设空间的一个主要风险:假设空间可能不包含目标函数。
ID3算法在搜索的每一步都使用当前的所有训练样例,大大降低了对个别训练样例错误的敏感性。
因此,通过修改终止准则,可以容易地扩展到处理含有噪声的训练数据。
ID3算法在搜索过程中不进行回溯。
所以,它易受无回溯的爬山搜索中的常见风险影响:收敛到局部最优而不是全局最优。
简答或论述26.Apriori算法有两个致命的性能瓶颈:a多次扫描事务数据库,需要很大的I/O负载对每次k循环,侯选集Ck中的每个元素都必须通过扫描数据库一次来验证其是否加入Lk。
假如有一个频繁大项目集包含10个项的话,那么就至少需要扫描事务数据库10遍。
b.可能产生庞大的侯选集由Lk-1产生k-侯选集Ck是指数增长的,例如104个1-频繁项目集就有可能产生接近107个元素的2-侯选集。
如此大的侯选集对时间和主存空间都是一种挑战。
a基于数据分割的方法:基本原理是“在一个划分中的支持度小于最小支持度的k-项集不可能是全局频繁的”。
27.改善Apriori算法适应性和效率的主要的改进方法有:a基于数据分割(Partition)的方法:基本原理是“在一个划分中的支持度小于最小支持度的k-项集不可能是全局频繁的”。
b基于散列的方法:基本原理是“在一个hash桶内支持度小于最小支持度的k-项集不可能是全局频繁的”。
c基于采样的方法:基本原理是“通过采样技术,评估被采样的子集中,并依次来估计k-项集的全局频度”。
d其他:如,动态删除没有用的事务:“不包含任何Lk的事务对未来的扫描结果不会产生影响,因而可以删除”。
28.面向Web的数据挖掘比面向数据库和数据仓库的数据挖掘要复杂得多:a异构数据源环境:Web网站上的信息是异构: 每个站点的信息和组织都不一样;存在大量的无结构的文本信息、复杂的多媒体信息;站点使用和安全性、私密性要求各异等等。
b数据的是复杂性:有些是无结构的(如Web页),通常都是用长的句子或短语来表达文档类信息;有些可能是半结构的(如Email,HTML页)。
当然有些具有很好的结构(如电子表格)。
揭开这些复合对象蕴涵的一般性描述特征成为数据挖掘的不可推卸的责任。
c动态变化的应用环境:Web的信息是频繁变化的,像新闻、股票等信息是实时更新的。
这种高变化也体现在页面的动态链接和随机存取上。
Web上的用户是难以预测的。
Web上的数据环境是高噪音的。
29.简述知识发现项目的过程化管理I-MIN过程模型。
MIN过程模型把KDD过程分成IM1、IM2、…、IM6等步骤处理,在每个步骤里,集中讨论几个问题,并按一定的质量标准来控制项目的实施。
IM1任务与目的:它是KDD项目的计划阶段,确定企业的挖掘目标,选择知识发现模式,编译知识发现模式得到的元数据;其目的是将企业的挖掘目标嵌入到对应的知识模式中。
IM2任务与目的:它是KDD的预处理阶段,可以用IM2a、IM2b、IM2c等分别对应于数据清洗、数据选择和数据转换等阶段。
其目的是生成高质量的目标数据。
IM3任务与目的:它是KDD的挖掘准备阶段,数据挖掘工程师进行挖掘实验,反复测试和验证模型的有效性。
其目的是通过实验和训练得到浓缩知识(Knowledge Concentrate),为最终用户提供可使用的模型。
IM4任务与目的:它是KDD的数据挖掘阶段,用户通过指定数据挖掘算法得到对应的知识。