大数据时代下的数据挖掘试题及答案

大数据时代下的数据挖掘试题及答案
大数据时代下的数据挖掘试题及答案

《海量数据挖掘技术及工程实践》题目

一、单选题(共80题)

1)( D )的目的缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得到

和原始数据相同的分析结果。

A.数据清洗

B.数据集成

C.数据变换

D.数据归约

2)某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖

掘的哪类问题?(A)

A. 关联规则发现

B. 聚类

C. 分类

D. 自然语言处理

3)以下两种描述分别对应哪两种对分类算法的评价标准? (A)

(a)警察抓小偷,描述警察抓的人中有多少个是小偷的标准。

(b)描述有多少比例的小偷给警察抓了的标准。

A. Precision,Recall

B. Recall,Precision

A. Precision,ROC D. Recall,ROC

4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C)

A. 频繁模式挖掘

B. 分类和预测

C. 数据预处理

D. 数据流挖掘

5)当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数

据相分离?(B)

A. 分类

B. 聚类

C. 关联分析

D. 隐马尔可夫链

6)建立一个模型,通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的

哪一类任务?(C)

A. 根据内容检索

B. 建模描述

C. 预测建模

D. 寻找模式和规则

7)下面哪种不属于数据预处理的方法? (D)

A.变量代换

B.离散化

C.聚集

D.估计遗漏值

8)假设12个销售价格记录组已经排序如下:5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204,

215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时,15在第几个箱子内?

(B)

A.第一个

B.第二个

C.第三个

D.第四个

9)下面哪个不属于数据的属性类型:(D)

A.标称

B.序数

C.区间

D.相异

10)只有非零值才重要的二元属性被称作:( C )

A.计数属性

B.离散属性

C.非对称的二元属性

D.对称属性

11)以下哪种方法不属于特征选择的标准方法: (D)

A.嵌入

B.过滤

C.包装

D.抽样

12)下面不属于创建新属性的相关方法的是: (B)

A.特征提取

B.特征修改

C.映射数据到新的空间

D.特征构造

13)下面哪个属于映射数据到新的空间的方法? (A)

A.傅立叶变换

B.特征加权

C.渐进抽样

D.维归约

14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方

法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为:(D)

15)一所大学内的各年纪人数分别为:一年级200人,二年级160人,三年级130人,四年

级110人。则年级属性的众数是: (A)

A.一年级

B.二年级

C.三年级

D.四年级

16)下列哪个不是专门用于可视化时间空间数据的技术: (B)

A.等高线图

B.饼图

C.曲面图

D.矢量场图

17)在抽样方法中,当合适的样本容量很难确定时,可以使用的抽样方法是: (D)

A.有放回的简单随机抽样

B.无放回的简单随机抽样

C.分层抽样

D 渐进抽样

18)数据仓库是随着时间变化的,下面的描述不正确的是 (C)

A.数据仓库随时间的变化不断增加新的数据内容

B.捕捉到的新数据会覆盖原来的快照

C.数据仓库随事件变化不断删去旧的数据内容

D.数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综

19)下面关于数据粒度的描述不正确的是: (C)

A.粒度是指数据仓库小数据单元的详细程度和级别

B.数据越详细,粒度就越小,级别也就越高

C.数据综合度越高,粒度也就越大,级别也就越高

D.粒度的具体划分将直接影响数据仓库中的数据量以及查询质量

20)有关数据仓库的开发特点,不正确的描述是: (A)

A.数据仓库开发要从数据出发

B.数据仓库使用的需求在开发出去就要明确

C.数据仓库的开发是一个不断循环的过程,是启发式的开发

D.在数据仓库环境中,并不存在操作型环境中所固定的和较确切的处理流,数据仓库中

数据分析和处理更灵活,且没有固定的模式

21)关于OLAP的特性,下面正确的是: (D)

(1)快速性 (2)可分析性 (3)多维性 (4)信息性 (5)共享性

A.(1) (2) (3)

B.(2) (3) (4)

C.(1) (2) (3) (4)

D.(1) (2) (3) (4) (5)

22)关于OLAP和OLTP的区别描述,不正确的是: (C)

主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同

B.与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务

的特点在于事务量大,但事务内容比较简单且重复率高

是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的

23)关于OLAP和OLTP的说法,下列不正确的是: (A)

事务量大,但事务内容比较简单且重复率高

的最终数据来源与OLTP不一样

面对的是决策人员和高层管理人员

以应用为核心,是应用驱动的

24)设X={1,2,3}是频繁项集,则可由X产生( C )个关联规则。

25)考虑下面的频繁3-项集的集合:

{1,2,3},{1,2,4},{1,2,5},{1,3,4},{1,3,5},{2,3,4},{2,3,5},{3,4,5}假定数据集中只有5个项,采用合并策略,由候选产生过程得到4-项集不包含( C )

,2,3,4 ,2,3,5

,2,4,5 ,3,4,5

26)下面选项中t不是s的子序列的是 ( C )

=<{2,4},{3,5,6},{8}> t=<{2},{3,6},{8}>

=<{2,4},{3,5,6},{8}> t=<{2},{8}>

=<{1,2},{3,4}> t=<{1},{2}>

=<{2,4},{2,4}> t=<{2},{4}>

27)在图集合中发现一组公共子结构,这样的任务称为 ( B )

A.频繁子集挖掘

B.频繁子图挖掘

C.频繁数据项挖掘

D.频繁模式挖掘

28)下列度量不具有反演性的是 (D)

A.系数

B.几率

度量 D.兴趣因子

29)下列 ( A )不是将主观信息加入到模式发现任务中的方法。

A.与同一时期其他数据对比

B.可视化

C.基于模板的方法

D.主观兴趣度量

30)下面购物蓝能够提取的3-项集的最大数量是多少(C)

31)以下哪些算法是分类算法(B)

32)以下哪些分类方法可以较好地避免样本的不平衡问题(A)

D.神经网络

33)决策树中不包含一下哪种结点 ( C )

A.根结点(root node)

B.内部结点(internal node)

C.外部结点(external node)

D.叶结点(leaf node)

34)以下哪项关于决策树的说法是错误的 (C)

A. 冗余属性不会对决策树的准确率造成不利的影响

B. 子树可能在决策树中重复多次

C. 决策树算法对于噪声的干扰非常敏感

D. 寻找最佳决策树是NP完全问题

35)在基于规则分类器的中,依据规则质量的某种度量对规则排序,保证每一个测试记录都

是由覆盖它的“最好的”规格来分类,这种方案称为 (B)

A. 基于类的排序方案

B. 基于规则的排序方案

C. 基于度量的排序方案

D. 基于规格的排序方案。

36)以下哪些算法是基于规则的分类器 (A)

A. B. KNN

C. Naive Bayes

D. ANN

37)可用作数据挖掘分析中的关联规则算法有(C)。

A. 决策树、对数回归、关联模式

B. K均值法、SOM神经网络

C. Apriori算法、FP-Tree算法

D. RBF神经网络、K均值法、决策树

38)如果对属性值的任一组合,R中都存在一条规则加以覆盖,则称规则集R中的规则为( B )

A.无序规则

B.穷举规则

C.互斥规则

D.有序规则

39)用于分类与回归应用的主要算法有: ( D )

算法、HotSpot算法

神经网络、K均值法、决策树

均值法、SOM神经网络

D.决策树、BP神经网络、贝叶斯

40)如果允许一条记录触发多条分类规则,把每条被触发规则的后件看作是对相应类的一次

投票,然后计票确定测试记录的类标号,称为(A)

A.无序规则

B.穷举规则

C.互斥规则

D.有序规则

41)考虑两队之间的足球比赛:队0和队1。假设65%的比赛队0胜出,剩余的比赛队1获胜。

队0获胜的比赛中只有30%是在队1的主场,而队1取胜的比赛中75%是主场获胜。如果下一场比赛在队1的主场进行队1获胜的概率为 (C)

以下关于人工神经网络(ANN)的描述错误的有 (A)

A.神经网络对训练数据中的噪声非常鲁棒

B.可以处理冗余特征

C.训练ANN是一个很耗时的过程

D.至少含有一个隐藏层的多层神经网络

43)通过聚集多个分类器的预测来提高分类准确率的技术称为 (A)

A.组合(ensemble)

B.聚集(aggregate)

C.合并(combination)

D.投票(voting)

44)简单地将数据对象集划分成不重叠的子集,使得每个数据对象恰在一个子集中,这种聚类类型称作( B )

A.层次聚类

B.划分聚类

C.非互斥聚类

D.模糊聚类

45)在基本K均值算法里,当邻近度函数采用( A )的时候,合适的质心是簇中各点的中位数。

A.曼哈顿距离

B.平方欧几里德距离

C.余弦距离散度

46)( C )是一个观测值,它与其他观测值的差别如此之大,以至于怀疑它是由不同的机制产生的。

A.边界点

B.质心

C.离群点

D.核心点

47)BIRCH是一种( B )。

A.分类器

B.聚类算法

C.关联分析算法

D.特征选择算法

48)检测一元正态分布中的离群点,属于异常检测中的基于( A )的离群点检测。

A.统计方法

B.邻近度

C.密度

D.聚类技术

49)( C )将两个簇的邻近度定义为不同簇的所有点对的平均逐对邻近度,它是一种凝聚层次聚类技术。

(单链)(全链)

C.组平均方法

50)( D )将两个簇的邻近度定义为两个簇合并时导致的平方误差的增量,它是一种凝聚层次聚类技术。

(单链)(全链)

C.组平均方法

51) 下列算法中,不属于外推法的是( B )。

A.移动平均法

B.回归分析法

C.指数平滑法

D.季节指数法

52) 关联规则的评价指标是:( C )。

A. 均方误差、均方根误差

B. Kappa统计、显着性检验

C. 支持度、置信度

D. 平均绝对误差、相对误差

53)关于K均值和DBSCAN的比较,以下说法不正确的是( A )。

均值丢弃被它识别为噪声的对象,而DBSCAN一般聚类所有对象。

均值使用簇的基于原型的概念,而DBSCAN使用基于密度的概念。

均值很难处理非球形的簇和不同大小的簇,DBSCAN可以处理不同大小和不同形状的簇。

均值可以发现不是明显分离的簇,即便簇有重叠也可以发现,但是DBSCAN会合并有重叠的簇。

54)从研究现状上看,下面不属于云计算特点的是( C )

A.超大规模

B.虚拟化

C.私有化

D.高可靠性

55)考虑这么一种情况:一个对象碰巧与另一个对象相对接近,但属于不同的类,因为这两个对象一般不会共享许多近邻,所以应该选择( D )的相似度计算方法。

A.平方欧几里德距离

B.余弦距离

C.直接相似度

D.共享最近邻

56) 分析顾客消费行业,以便有针对性的向其推荐感兴趣的服务,属于( A)问题。

A.关联规则挖掘

B.分类与回归

C.聚类分析

D.时序预测

57)以下哪个聚类算法不是属于基于原型的聚类( D )。

A.模糊C均值算法

58)关于混合模型聚类算法的优缺点,下面说法正确的是( B )。

A.当簇只包含少量数据点,或者数据点近似协线性时,混合模型也能很好地处理。

B.混合模型比K均值或模糊c均值更一般,因为它可以使用各种类型的分布。

C.混合模型很难发现不同大小和椭球形状的簇。

D.混合模型在有噪声和离群点时不会存在问题。

59)以下哪个聚类算法不属于基于网格的聚类算法( D )。

60)一个对象的离群点得分是该对象周围密度的逆。这是基于( C )的离群点定义。

A.概率 B.邻近度

C.密度 D.聚类

61)舆情研判,信息科学侧重( C ),社会和管理科学侧重突发群体事件管理中的群体心

理行为及舆论控制研究,新闻传播学侧重对舆论的本体进行规律性的探索和研究。

A.舆论的本体进行规律性的探索和研究

B.舆论控制研究

C.互联网文本挖掘和分析技术

D.用户行为分析

62)MapReduce的Map函数产生很多的( C )

C.

63)Mapreduce适用于( D )

A.任意应用程序

B. 任意可在windows servet2008上运行的程序

C.可以串行处理的应用程序

D. 可以并行处理的应用程序

64)PageRank是一个函数,它对Web中的每个网页赋予一个实数值。它的意图在于网页的

PageRank越高,那么它就( D )。

A.相关性越高

B.越不重要

C.相关性越低

D.越重要

╳A.一对一 B.一对多

C. 多对多

D. 多对一

65)协同过滤分析用户兴趣,在用户群中找到指定用户的相似(兴趣)用户,综合这些用户对

某一信息的评价,形成系统对该指定用户对此信息的喜好程度( D ),并将这些用户喜欢的项推荐给有相似兴趣的用户。

A. 相似

B.相同

C.推荐

D. 预测

66)大数据指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达

到撷取、管理、处理、并( B )成为帮助企业经营决策更积极目的的信息。

A.收集

B.整理

C.规划

D.聚集

67)大数据科学关注大数据网络发展和运营过程中( D )大数据的规律及其与自然和

社会活动之间的关系。

A.大数据网络发展和运营过程

B.规划建设运营管理

C.规律和验证

D.发现和验证

68)大数据的价值是通过数据共享、( D )后获取最大的数据价值

A.算法共享

B.共享应用

C. 数据交换

D. 交叉复用

69)社交网络产生了海量用户以及实时和完整的数据,同时社交网络也记录了用户群体的

( C ),通过深入挖掘这些数据来了解用户,然后将这些分析后的数据信息推给需要的品牌商家或是微博营销公司。

A.地址

B.行为

C.情绪

D.来源

70)通过数据收集和展示数据背后的( D ),运用丰富的、具有互动性的可视化手段,

数据新闻学成为新闻学作为一门新的分支进入主流媒体,即用数据报道新闻。

A.数据收集

B.数据挖掘

C.真相

D. 关联与模式

71)CRISP-DM 模型中Evaluation表示对建立的模型进行评估,重点具体考虑得出的结果是

否符合( C )的商业目的。

A.第二步

B.第三步

C.第一步

D.最后一步

72)发现关联规则的算法通常要经过以下三个步骤:连接数据,作数据准备;给定最小支持

度和( D ),利用数据挖掘工具提供的算法发现关联规则;可视化显示、理解、评估关联规则

A. 最小兴趣度

B. 最小置信度

C. 最大支持度

D. 最小可信度

73)规则I->j,“有可能”,等于所有包含I的购物篮中同时包含J的购物篮的比例,为

( B )。

A. 置信度

B.可信度

C. 兴趣度

D. 支持度

74)如果一个匹配中,任何一个节点都不同时是两条或多条边的端点,也称作( C )

A. 极大匹配

B.二分匹配

C完美匹配 D.极小匹配

75)只要具有适当的政策推动,大数据的使用将成为未来提高竞争力、生产力、创新能力以

及( D )的关键要素。

A.提高消费

B.提高GDP

C.提高生活水平

D. 创造消费者盈余

76)个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助

( D )为其顾客购物提供完全个性化的决策支持和信息服务。

A.公司

B.各单位

C.跨国企业

D. 电子商务网站

77)云计算是对( D )技术的发展与运用

A.并行计算

B.网格计算

C.分布式计算

D.三个选项都是

78)( B )是Google提出的用于处理海量数据的并行编程模式和大规模数据集的并行运

算的软件架构。

79)在Bigtable中,( A )主要用来存储子表数据以及一些日志文件

A. GFS

B. Chubby

二、判断题(共40题)

1)分类是预测数据对象的离散类别,预测是用于数据对象的连续取值。 (对)

2)时序预测回归预测一样,也是用已知的数据预测未来的值,但这些数据的区别是变量所

处时间的不同。(错)

3)数据挖掘的主要任务是从数据中发现潜在的规则,从而能更好的完成描述数据、预测数

据等任务。 (对)

4)对遗漏数据的处理方法主要有:忽略该条记录;手工填补遗漏值;利用默认值填补遗漏

值;利用均值填补遗漏值;利用同类别均值填补遗漏值;利用最可能的值填充遗漏值。

(对)

5)神经网络对噪音数据具有高承受能力,并能对未经过训练的数据具有分类能力,但其需

要很长的训练时间,因而对于有足够长训练时间的应用更合适。(对)

6)数据分类由两步过程组成:第一步,建立一个聚类模型,描述指定的数据类集或概念集;

第二步,使用模型进行分类。(错)

7)聚类是指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程。 (对)

8)决策树方法通常用于关联规则挖掘。 (错)

9)数据规范化指将数据按比例缩放(如更换大单位),使之落入一个特定的区域(如0-1)

以提高数据挖掘效率的方法。规范化的常用方法有:最大-最小规范化、零-均值规范化、小数定标规范化。(对)

10)原始业务数据来自多个数据库或数据仓库,它们的结构和规则可能是不同的,这将导致

原始数据非常的杂乱、不可用,即使在同一个数据库中,也可能存在重复的和不完整的数据信息,为了使这些数据能够符合数据挖掘的要求,提高效率和得到清晰的结果,必须进行数据的预处理。(对)

11)数据取样时,除了要求抽样时严把质量关外,还要求抽样数据必须在足够范围内有代表

性。(对)

12)分类规则的挖掘方法通常有:决策树法、贝叶斯法、人工神经网络法、粗糙集法和遗传

算法。(对)

13)可信度是对关联规则的准确度的衡量。 (错)

14)孤立点在数据挖掘时总是被视为异常、无用数据而丢弃。 (错)

15)Apriori算法是一种典型的关联规则挖掘算法。 (对)

16)用于分类的离散化方法之间的根本区别在于是否使用类信息。(对)

17)特征提取技术并不依赖于特定的领域。(错)

18)模型的具体化就是预测公式,公式可以产生与观察值有相似结构的输出,这就是预测值。

(对)

19)文本挖掘又称信息检索,是从大量文本数据中提取以前未知的、有用的、可理解的、可

操作的知识的过程。(错)

20)定量属性可以是整数值或者是连续值。(对)

21)可视化技术对于分析的数据类型通常不是专用性的。(错)

22)OLAP技术侧重于把数据库中的数据进行分析、转换成辅助决策信息,是继数据库技术发

展之后迅猛发展起来的一种新技术。(对)

23)Web数据挖掘是通过数据库仲的一些属性来预测另一个属性,它在验证用户提出的假设

过程中提取信息。(错)

24)关联规则挖掘过程是发现满足最小支持度的所有项集代表的规则。(错)

25)利用先验原理可以帮助减少频繁项集产生时需要探查的候选项个数。(对)

26)先验原理可以表述为:如果一个项集是频繁的,那包含它的所有项集也是频繁的。(错)

27)回归分析通常用于挖掘关联规则。(错)

28)具有较高的支持度的项集具有较高的置信度。(错)

29)维归约可以去掉不重要的属性,减少数据立方体的维数,从而减少数据挖掘处理的数据

量,提高挖掘效率。(对)

30)聚类(clustering)是这样的过程:它找出描述并区分数据类或概念的模型(或函数),

以便能够使用模型预测类标记未知的对象类。(错)

31)对于SVM分类算法,待分样本集中的大部分样本不是支持向量,移去或者减少这些样本

对分类结果没有影响。(对)

32)Bayes法是一种在已知后验概率与类条件概率的情况下的模式分类方法,待分样本的分

类结果取决于各类域中样本的全体。 (错)

33)在决策树中,随着树中结点数变得太大,即使模型的训练误差还在继续减低,但是检验

误差开始增大,这是出现了模型拟合不足的问题。(错)

34)在聚类分析当中,簇内的相似性越大,簇间的差别越大,聚类的效果就越差。(错)

35)聚类分析可以看作是一种非监督的分类。(对)

36)K均值是一种产生划分聚类的基于密度的聚类算法,簇的个数由算法自动地确定。(错

37)基于邻近度的离群点检测方法不能处理具有不同密度区域的数据集。(对)

38)如果一个对象不强属于任何簇,那么该对象是基于聚类的离群点。(对)

39)大数据的4V特点是Volume、Velocity、Variety、Veracity。(对)

40)聚类分析的相异度矩阵是用于存储所有对象两两之间相异度的矩阵,为一个nn维的单

模矩阵。(对)

三、多选题(共30题)

1)噪声数据的产生原因主要有:(ABCD)

A.数据采集设备有问题

B.在数据录入过程中发生了人为或计算机错误

C.数据传输过程中发生错误

D.由于命名规则或数据代码不同而引起的不一致

2)寻找数据集中的关系是为了寻找精确、方便并且有价值地总结出数据的某一特征的表示,

这个过程包括了以下哪些步骤? (A B C D)

A.选择一个算法过程使评分函数最优

B.决定如何量化和比较不同表示拟合数据的好坏

C.决定要使用的表示的特征和结构

D.决定用什么样的数据管理原则以高效地实现算法

3)数据挖掘的预测建模任务主要包括哪几大类问题? (A B)

A. 分类

B. 回归

C. 聚类

D. 关联规则挖掘

4) 下列属于不同的有序数据的有:(A B C D)

A.时序数据

B.序列数据

C.时间序列数据

D.事务数据

E.空间数据

5) 下面属于数据集的一般特性的有:( B C D)

A.连续性

B.维度

C.稀疏性

D.分辨率

E.相异性

6)下面属于维归约常用的处理技术的有: (A C)

A.主成分分析

B.特征提取

C.奇异值分解

D.特征加权

E.离散化

7)噪声数据处理的方法主要有:( ABD )

A.分箱

B.聚类

C.关联分析

D.回归

8)数据挖掘的主要功能包括概念描述、趋势分析、孤立点分析及( ABCD )等方面。

A.挖掘频繁模式

B.分类和预测

C.聚类分析

D.偏差分析

9)以下各项均是针对数据仓库的不同说法,你认为正确的有(BCD )。

A.数据仓库就是数据库

B.数据仓库是一切商业智能系统的基础

C.数据仓库是面向业务的,支持联机事务处理(OLTP)

D.数据仓库支持决策而非事务处理

10)联机分析处理包括( BCD )基本分析功能。

A.聚类

B.切片

C.转轴

D.切块

11)利用Apriori算法计算频繁项集可以有效降低计算频繁集的时间复杂度。在以下的购物篮中产生支持度不小于3的候选3-项集,在候选2-项集中需要剪枝的是( BD )

A.啤酒、尿布

B.啤酒、面包

C.面包、尿布

D.啤酒、牛奶

12)下表是一个购物篮,假定支持度阈值为40%,其中( AD )是频繁闭项集。

A.面包、牛奶、尿布

B.面包、啤酒

C.尿布、啤酒

D.啤酒、鸡蛋

13)Apriori算法的计算复杂度受( ABCD )影响。

A.支持度阀值

B.项数(维度)

C.事务数

D.事务平均宽度

14)以下关于非频繁模式说法,正确的是( AD )

A.其支持度小于阈值

B.都是不让人感兴趣的

C.包含负模式和负相关模式

D.对异常数据项敏感

15)以下属于分类器评价或比较尺度的有: ( ACD )

A.预测准确度

B.召回率

C.模型描述的简洁度

D.计算复杂度

16)贝叶斯信念网络(BBN)有如下哪些特点。(AB)

A.构造网络费时费力

B.对模型的过分问题非常鲁棒

C.贝叶斯网络不适合处理不完整的数据

D.网络结构确定后,添加变量相当麻烦

17)如下哪些不是最近邻分类器的特点。 (C)

A.它使用具体的训练实例进行预测,不必维护源自数据的模型

B.分类一个测试样例开销很大

C.最近邻分类器基于全局信息进行预测

D.可以生产任意形状的决策边界

18)以下属于聚类算法的是( AB )。

19)( CD )都属于簇有效性的监督度量。

A.轮廓系数

B.共性分类相关系数

C.熵度量

20)( ABCD )这些数据特性都是对聚类分析具有很强影响的。

A.高维性

B.规模

C.稀疏性

D.噪声和离群点

21)在聚类分析当中,( AD )等技术可以处理任意形状的簇。

(单链)(全链)

C.组平均

22)( AB )都属于分裂的层次聚类算法。

A.二分K均值

D.组平均

23)数据挖掘的挖掘方法包括:( ABCD )

A.聚类分析

B.回归分析

C.神经网络

D.决策树算法

24)Web内容挖掘实现技术( ABCD )

A.文本总结

B.文本分类

C.文本聚类

D.关联规则

25)基于内容的推荐生成推荐的过程主要依靠( ACD )

A.内容分析器

B.推荐系统

C.文件学习器

D.过滤部件

26)云计算的服务方式有( ACD )

27)文本挖掘的工具有( BCD )

Text Mining

DB2 intelligent Miner

Text Miner

Text Mining

28)推荐系统为客户推荐商品,自动完成个性化选择商品的过程,满足客户的个性化需求,推荐基于网站最热卖商品、客户所处城市、( D ),推测客户将来可能的购买行为。

A.客户的朋友

B.客户的个人信息

C.客户的兴趣爱好

D.客户过去的购买行为和购买记录

29)数据预处理方法主要有( ABCD)。

A.数据清洗

B.数据集成

C.数据变换

D.数据归约

30)与传统的分布式程序设计相比,Mapreduce封装了( ABCD )等细节,还提供了一个简单而强大的接口。

A.并行处理

B.容错处理

C.本地化计算

D.负载均衡

数据挖掘考试题目聚类

数据挖掘考试题目——聚类 一、填空题 1、密度的基于中心的方法使得我们可以将点分类为:__________、________ 、_________。 2、DBSCAN算法在最坏的情况下,时间复杂度是__________、空间复杂度是__________。 3、DBSCAN算法的优点是_______、__________________________。 4、DBSCAN算法的缺点是处理_________________、_____________的数据效果不好。 5、DBSCAN算法的参数有:___________、____________。 6、簇的有效性的非监督度量常常可以分为两类:__________、__________,它常采用的指标为__________。 7、簇的有效性的监督度量通常称为___________,它度量簇标号与外部提供的标号的匹配程度主要借助____________。 8、在相似度矩阵评价的聚类中,如果有明显分离的簇,则相似度矩阵应当粗略地是__________。 9、DBSCAN算法的参数确定的基本方法是观察____________________的特性。 10、不引用附加的信息,评估聚类分析结果对数据拟合情况属于__________技术。 答案: 1、核心点边界点噪声点 2、O(n2) O(n) 3、耐噪声能够处理任意大小和形状的簇 4、高维数据变密度的 5、EPS MinPts 6、簇的凝聚性簇的分离性均方差(SSE) 7、外部指标监督指标的熵 8、块对角的 9、点到它的第K个最近邻的距离(K-距离) 10、非监督 二、选择题 1、DBSCAN算法的过程是(B)。 ①删除噪声点。 ②每组连通的核心点形成一个簇。 ③将所有点标记为核心点、边界点和噪声点。 ④将每个边界点指派到一个与之关联的核心点的簇中。 ⑤为距离在Eps之内的所有核心点之间赋予一条边。 A:①②④⑤③ B:③①⑤②④ C:③①②④⑤ D:①④⑤②③ 2、如果有m个点,DBSCAN在最坏的情况下的时间复杂度度为(C)。 A O(m) B O(mlogm) C O(m2) D O(logm) 3、在基本DBSCAN的参数选择方法中,点到它的K个最近邻的距离中的K选作为哪一个参数(B)。 A Eps B MinPts C 质心 D 边界

数据挖掘试题与答案

一、解答题(满分30分,每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据,并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估,并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程,其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识,接着建立目标数据集,并专注所选择的数据子集;再作数据预处理,剔除错误或不一致的数据;然后进行数据简化与转换工作;再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型;最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些,请详细阐述之 时间序列数据挖掘的方法有: 1)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说,假设未来行为与现在的行为有关,利用属性现在的值预测将来的值是可行的。例如,要预测下周某种商品的销售额,可以用最近一段时间的实际销售量来建立预测模型。 2)、随机时间序列预测方法:通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Regressive,简称AR)模型、移动回归模型(Moving Average,简称MA)或自回归移动平均(Auto Regressive Moving Average,简称ARMA)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练,通过数学统计模型估计神经网络的各层权重参数初值,就可能建立神经网络预测模型,用于时间序列的预测。

大数据时代下的数据挖掘试题和答案及解析

A. 变量代换 B. 离散化 海量数据挖掘技术及工程实践》题目 、单选题(共 80 题) 1) ( D ) 的目的缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得 到 和原始数据相同的分析结果。 A. 数据清洗 B. 数据集成 C. 数据变换 D. 数据归约 2) 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数 据挖 掘的哪类问题 (A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3) 以下两种描述分别对应哪两种对分类算法的评价标准 (A) (a) 警察抓小偷,描述警察抓的人中有多少个是小偷的标准。 (b) 描述有多少比例的小偷给警察抓了的标准。 据相分离 (B) 哪一类任务 (C) A. 根据内容检索 B. 建模描述 7) 下面哪种不属于数据预处理的方法 (D) A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4) 将原始数据进行集成、 变换、维度规约、数值规约是在以下哪个步骤的任务 (C) 5) A. 频繁模式挖掘 C. 数据预处理 B. D. 当不知道数据所带标签时, 分类和预测 数据流挖掘 可以使用哪种技术促使带同类标签的数据与带其他标签的数 6) A. 分类 C. 关联分析 建立一个模型, B. D. 聚类 隐马尔可夫链 通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 C. 预测建模 D. 寻找模式和规则

C.聚集 D. 估计遗漏值 8) 假设12 个销售价格记录组已经排序如下:5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时,15 在第几个箱子内(B) A. 第一个 B. 第二个 C. 第三个 D. 第四个 9) 下面哪个不属于数据的属性类型:(D) A. 标称 B. 序数 C.区间 D. 相异 10) 只有非零值才重要的二元属性被称作:( C ) A. 计数属性 B. 离散属性 C.非对称的二元属性 D. 对称属性 11) 以下哪种方法不属于特征选择的标准方法:(D) A. 嵌入 B. 过滤 C.包装 D. 抽样 12) 下面不属于创建新属性的相关方法的是:(B) A. 特征提取 B. 特征修改 C. 映射数据到新的空间 D. 特征构造 13) 下面哪个属于映射数据到新的空间的方法(A) A. 傅立叶变换 B. 特征加权 C. 渐进抽样 D. 维归约 14) 假设属性income 的最大最小值分别是12000元和98000 元。利用最大最小规范化的方 法将属性的值映射到0 至 1 的范围内。对属性income 的73600 元将被转化为:(D) 15) 一所大学内的各年纪人数分别为:一年级200人,二年级160人,三年级130 人,四年 级110 人。则年级属性的众数是:(A) A. 一年级 B. 二年级 C. 三年级 D. 四年级 16) 下列哪个不是专门用于可视化时间空间数据的技术:(B) A. 等高线图 B. 饼图

《大数据时代下的数据挖掘》试题及答案要点

《海量数据挖掘技术及工程实践》题目 一、单选题(共80题) 1)( D )的目的缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖 掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准? (A) (a)警察抓小偷,描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离?(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型,通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务?(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法? (D) A.变量代换 B.离散化

C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下:5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时,15在第几个箱子内? (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型:(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作:( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法: (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是: (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法? (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为:(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为:一年级200人,二年级160人,三年级130人,四年 级110人。则年级属性的众数是: (A) A.一年级 B.二年级 C.三年级 D.四年级

大数据时代的利与弊

虽然早已听说过舍恩伯格的《大数据时代》,但直到前不久才浏览本书的内容,看完之后还是有点震撼的,主要是大数据对我们日常生活和思维的影响太大了。下面摘取部分原文表述或案例来梳理一下这本书,其中有我本人的部分总结和评述。 有三个案例比较有意思,一是福特的名言,“如果当年去问顾客他们想要什么,他们肯定会告诉我:一匹更快的马。” 乔布斯多年来持续不断地改善Mac笔记本依赖的可能是行业分析,但是他发行的iPod、iPhone和iPad靠的不是数据,而是直觉,第六感。谷歌公司内部的研究表明工作表现与大学毕业时的平均绩点没有关系,但其创始人依然要应聘者提供分数。 前两个例子(福特和苹果)说明大数据有时候是无效的,后面谷歌的例子则说明管理层对数据过度的执着。 大数据对人类生活的破坏莫过于它过于强大的预测功能,如通过一个人过去的表现可以准确预测到他在特定环境下一定会犯罪,那么,社会保障机制就会惩罚一个从来没有犯错的人。如书中所述: “因为预测的结果几乎不可辩驳,人们也就无法为自己开脱。但这种基于预测得出的惩罚不仅违背自由意志的原则,同时也否定了人们会突然改变选择的可能性。” 以上弊多些,下面谈利。

聪明的公司会从人们与信息交互中收集数据废气,以用来改善现有的服务或推出全新的服务。 “拥有知识曾意味着掌握过去,现在则更意味着能够预测未来。”-----这句话很精辟。 “情报分析员结合实地考察报告和过去IED袭击地点、时间和人员伤亡的详细信息,据此预测一天中最安全的运送路线。”类似的,我也听说过美国建立的爆炸物碎片博物馆的事情,基于爆炸物的各种信息追踪恐怖分子武器弹药的生产基地和储存地点。 “为了促进大数据平台的良性竞争,政府必须运用反垄断条例。” 谷歌对量化数据的极致追求可能过头了,因此激起了员工的反抗。(弊)通过大数据预测来判断和惩罚人类的潜在行为是对公平公正和自由意 志的一种亵渎。(弊) 过去是要成为一个优秀的生物学家就需要认识很多生物学家,但现在可能是,要解决一个生物难题或许和天体物理学家或数据视图设计师联系即可。 由于大数据的功劳,微软机器翻译部门的统计学家在茶余饭后的谈资就是每次一有语言学家离开他们的团队,翻译质量就会好一点。 当亚马逊的贝索斯发现算法推荐能促进销量增加的时候,他就不再需要书籍评论员了。

《数据挖掘》试题与标准答案

一、解答题(满分30分,每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据,并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估,并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程,其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识,接着建立目标数据集,并专注所选择的数据子集;再作数据预处理,剔除错误或不一致的数据;然后进行数据简化与转换工作;再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型;最后经过解释和评价成为有用的信息。 2.时间序列数据挖掘的方法有哪些,请详细阐述之 时间序列数据挖掘的方法有: 1)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说,假设未来行为与现在的行为有关,利用属性现在的值预测将来的值是可行的。例如,要预测下周某种商品的销售额,可以用最近一段时间的实际销售量来建立预测模型。 2)、随机时间序列预测方法:通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Regressive,简称AR)模型、移动回归模型(Moving Average,简称MA)或自回归移动平均(Auto Regressive Moving Average,简称ARMA)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练,通过数学统计模型估计神经网络的各层权重参数初值,就可能建立神经网络预测模型,用于时间序列的预测。

大数据时代的数据挖掘

大数据时代的数据挖掘 大数据是2012的时髦词汇,正受到越来越多人的关注和谈论。大数据之所以受到人们的关注和谈论,是因为隐藏在大数据后面超千亿美元的市场机会。 大数据时代,数据挖掘是最关键的工作。以下内容供个人学习用,感兴趣的朋友可以看一下。 智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现,是目前人工智能和数据库领域研究的热点问题,所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。 数据挖掘的定义 技术上的定义及含义 数据挖掘(Data Mining )就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义:数据源必须是真实的、大量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用;并不要求发现放之四海皆准的知识,仅支持特定的发现问题。 与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。 ----何为知识从广义上理解,数据、信息也是知识的表现形式,但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉,好像从矿石中采矿或淘金一样。原始数据可以是结构化的,如关系数据库中的数据;也可以是半结构化的,如文本、图形和图像数据;甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的,也可以是非数学的;可以是演绎的,也可以是归纳的。发现的知识可以被用于信息管理,查询优化,决策支持和过程控制等,还可以用于数据自身的维护。因此,数据挖掘是一门交叉学科,它把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策支持。在这种需求牵引下,汇聚了不同领域的研究者,尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员,投身到数据挖掘这一新兴的研究领域,形成新的技术热点。 这里所说的知识发现,不是要求发现放之四海而皆准的真理,也不是要去发现崭新的自然科学定理和纯数学公式,更不是什么机器定理证明。实际上,所有发现的知识都是相对的,是有特定前提和约束条件,面向特定领域的,同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。n x _s u x i a n g n i n g

大数据时代下的资源配置

大数据时代下的资源配置 摘要 任何一项社会活动都打上深深的时代烙印,资源配置也不例外,大数据时代带给社会各个层面的变革将是深入持久的,在新的形势下资源配置将会发生怎样的变化,大数据又在这一变化中发挥怎样作用,如何利用好大数据让资源配置更优化是中国乃至整个人类社会必须当前面临的问题,就目前我接触到少量信息的基础上浅论一下大数据时代下的资源配置的设想。 关键字 大数据资源配置信息技术 前言 大数据是什么?是一种运营模式?是一种技术?或是一种数据的集合统称?大数据相对于数据的提法,但不同于传统的数据,而是一种数据的广延性,无限性,细分性,它是一种多维度数据的空间集合。大数据是由全球知名咨询公司麦肯锡提出,麦肯锡称“数据,已经渗透到当今的每个行业和业务职能领域,成为最重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈亏浪潮的到来。”资源配置是生产活动中重要的环节,数据在资源配置产生之初就和数据密不可分,大数据时代的到来更是为资源配置的最优化提供了最科学最有效最全面的数据信息,通过对数据点组成的数据空间的分析,将极大的改变生产效率,节约生产资源,提高经济总量。 正文 资源配置与大数据到底存在怎样的内部联系?面对资源配置与大数据内在联系我们又该如何把握与充分运用大数据?接下来让我们来看看它们之间的关系。首先我们要思考为什么要进行资源配置?资源配置有什么意义? 对于第一个问题我认为应该从根本原因来回答,资源的有限性和人类社会需求的无限性矛盾要求我们必须进行合理有效的资源分配以实现既定的社会目标。资源配置使得人类利用最有效的手段发挥有限资源的最大利益最大程度上满足人类社会的需求,当前可以说人类社会的进步就是伴随着资源配置问题的解决而进行的。 对于第二个问题我认为,资源配置最直接显著的影响就是资源的节约,资源配置的越合理意味着巨大的资源节约,人类社会更加持续长久的发展。资源是社会生产的重要物质资源,离开了资源社会生产不能进行,那么资源配置对生产的影响也就是根本性的。资源配置的合理意味着社会生产的高效,经济社会的发展。 然后我们来看看资源配置中的数据问题。资源配置中有哪些数据?这些数据有什么关系?资

数据挖掘考试题库【最新】

一、填空题 1.Web挖掘可分为、和3大类。 2.数据仓库需要统一数据源,包括统一、统一、统一和统一数据特征 4个方面。 3.数据分割通常按时间、、、以及组合方法进行。 4.噪声数据处理的方法主要有、和。 5.数值归约的常用方法有、、、和对数模型等。 6.评价关联规则的2个主要指标是和。 7.多维数据集通常采用或雪花型架构,以表为中心,连接多个表。 8.决策树是用作为结点,用作为分支的树结构。 9.关联可分为简单关联、和。 10.B P神经网络的作用函数通常为区间的。 11.数据挖掘的过程主要包括确定业务对象、、、及知识同化等几个步 骤。 12.数据挖掘技术主要涉及、和3个技术领域。 13.数据挖掘的主要功能包括、、、、趋势分析、孤立点分析和偏 差分析7个方面。 14.人工神经网络具有和等特点,其结构模型包括、和自组织网络 3种。 15.数据仓库数据的4个基本特征是、、非易失、随时间变化。 16.数据仓库的数据通常划分为、、和等几个级别。 17.数据预处理的主要内容(方法)包括、、和数据归约等。 18.平滑分箱数据的方法主要有、和。 19.数据挖掘发现知识的类型主要有广义知识、、、和偏差型知识五种。 20.O LAP的数据组织方式主要有和两种。 21.常见的OLAP多维数据分析包括、、和旋转等操作。 22.传统的决策支持系统是以和驱动,而新决策支持系统则是以、建 立在和技术之上。 23.O LAP的数据组织方式主要有和2种。 24.S QL Server2000的OLAP组件叫,OLAP操作窗口叫。 25.B P神经网络由、以及一或多个结点组成。 26.遗传算法包括、、3个基本算子。 27.聚类分析的数据通常可分为区间标度变量、、、、序数型以及混合 类型等。 28.聚类分析中最常用的距离计算公式有、、等。 29.基于划分的聚类算法有和。

大数据时代的空间数据挖掘综述

第37卷第7期测绘与空间地理信息 GEOMATICS &SPATIAL INFORMATION TECHNOLOGY Vol.37,No.7收稿日期:2014-01-22 作者简介:马宏斌(1982-),男,甘肃天水人,作战环境学专业博士研究生,主要研究方向为地理空间信息服务。 大数据时代的空间数据挖掘综述 马宏斌1 ,王 柯1,马团学 2(1.信息工程大学地理空间信息学院,河南郑州450000;2.空降兵研究所,湖北孝感432000) 摘 要:随着大数据时代的到来,数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题, 介绍了国内外研究中利用大数据处理工具和云计算技术,在空间数据的存储、管理和挖掘算法等方面的做法,并指出了该类研究存在的不足。最后,探讨了空间数据挖掘的发展趋势。关键词:大数据;空间数据挖掘;云计算中图分类号:P208 文献标识码:B 文章编号:1672-5867(2014)07-0019-04 Spatial Data Mining Big Data Era Review MA Hong -bin 1,WANG Ke 1,MA Tuan -xue 2 (1.Geospatial Information Institute ,Information Engineering University ,Zhengzhou 450000,China ; 2.Airborne Institute ,Xiaogan 432000,China ) Abstract :In the era of Big Data ,more and more researchers begin to show interest in data mining techniques again.The paper review most unresolved problems left by traditional spatial data mining at first.And ,some progress made by researches using Big Data and Cloud Computing technology is introduced.Also ,their drawbacks are mentioned.Finally ,future trend of spatial data mining is dis-cussed. Key words :big data ;spatial data mining ;cloud computing 0引言 随着地理空间信息技术的飞速发展,获取数据的手 段和途径都得到极大丰富,传感器的精度得到提高和时空覆盖范围得以扩大,数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子 显微镜、CT 成像等各种宏观与微观传感器或设备,也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段,还可能是来自计算机、 网络、GPS ,RS 和GIS 等技术应用和分析空间数据。特别是近些年来,个人使用的、携带的各种传感器(重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等),具备定位功能电子设备的普及,如智能手机、平板电脑、可穿戴设备(GOOGLE GLASS 和智能手表等),使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息(Volunteer Geographic Information )的出现,使这些普通民众也加入到了提供数据者的行列。 以上各种获取手段和途径的汇集,就使每天获取的 数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ,并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间,平均每年获取8.6万景影像,每天获取67GB 的观测数据。而2012年发射的资源三号(ZY3)卫星,每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫 星、 飞机等飞行平台上,未来10年,全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来,那就是大数据时代。大数据具有 “4V ”特性,即数据体量大(Volume )、数据来源和类型繁多(Variety )、数据的真实性难以保证(Veracity )、数据增加和变化的速度快(Velocity )。对地观测的系统如图1所示。 在这些数据中,与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用,原因是传统的科研模型不具有普适性且支持的数据量受限, 受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识,这就需要利用强有力的数据分析工具来将

大数据背景下数据挖掘技术的应用

《计算机科学与技术前沿》 课程论文 大数据背景下数据挖掘技术的应用 2016年1月7日 题目 学院 学号 姓名 指导老师 日期

大数据背景下数据挖掘技术的应用 摘要 当今社会是一个信息化社会的时代,同时又是一个大数据时代。随着互联网、物联网、云计算和人工智能等信息技术和计算机产业的不断发展和进步,使得数据的处理成为一个亟待解决的问题。因此在大数据的背景下,如何高效地从大量包含有用数据的库获得有用信息已成为企业和科研工作重点关注的点,而这一工作涉及的关键技术就是数据挖掘技术。总得说,数据处理的需要既给数据挖掘技术带来了机遇,于此同时带来了一系列的挑战。 本文分别从企业、图书管理和情报学领域三个方面阐述数据挖掘技术的应用,同时对它的发展现状、存在的问题和未来的发展趋势进行了一些阐述,从而加深了对数据挖掘技术的理解,以便更好地了解数据挖掘在各个领域的应用,最后对数据挖掘技术的应用进行一个整体的总结。 【关键字】:大数据;数据挖掘;数据挖掘的应用

Application of data mining technology in the context of data Abstract Today is the age of information society,but it is also an age of big data.With development and progress of information technology and the computer industry which include the Internet, the Internet of things, cloud computing and artificial intelligence, data processing has become an urgent problem.Therefore,in the context of big data,how to get useful information from a large library of useful data have become focuses of enterprises and scientific and research work.The work involved is the key technology of data mining.In General spedking, data processing needs for data mining technology, and at the same time poses a series of challenges. The paper aims to account the development present situation,existing problems,and developmenttrend in the future based on companies,library management and the field of information science development,so as to enhance understanding of the data mining technology ,to better understand data mining applications in various fields,and to draw an overall summary of the application of data mining technology. 【Key words】:Large amounts of data;Data mining;Application of data mining

大数据时代下可能出现的工作变化

大数据时代下可能出现的工作变化 在当今信息时代,以计算机类智能设备和互联网系统为典型代表的信息大爆炸和大数据经济一触即发,人与人,以及人与物,物与物之间互相关联。未来教育在互联网等技术的作用下变得越来越多样化和终身化;未来学习越来越个性化;未来的教师由知识的二传手到质疑创新精神的引路人,相应的能力要求也需要与时俱进。大数据、互联网等技术必然带来教育体系的变革。互联网等信息技术从最初作为教育信息工具的使用到扩散整个教学系统成为变革的内动力,带来了教育的新期待,站在以互联网为代表的新技术时代潮流尚,教师教育也要顺势而为,思考在教育变革的大浪潮中教师如何进行角色重塑和专业成长。 一、大数据时代教育系统性变革的内外动力 (一)教育系统变革的外动力 以互联网为代表的信息技术推动了教育教学所处的外部生态环境,使教学系统与整个社会大系统之间的相互关系发生了变化。一方面,社会历史变迁对教育教学提出了变革的新要求;另一方面,科技进步为教育教学的变革提供了新手段。这两个方面叠加在一起,构成了推动教育教学变革的外部动力。 教育教学的变革主要反映在对人才的需求上和信息社会对个性化人才的需求之上。个性化、定制化、网络化生产的家庭工厂将取代庞大的规模化工厂。这种新型的数字化制造模式和发展模式,需要大量的适合信息时代的高素质人才。为了适应新形势发展的需要,教育迫切需要回归到“个性化”之路。未来教育在互联网和大数据的作用下变得越来越个性化,学习者对教育的选择多样化和定制化。以互联网和大数据为代表的新技术是教育变革的技术推动力量。“微学位”、数字化学校和数字化课程、反转式课堂、游戏化学习、互动式新型媒体技术等全新教育模式的出现预示着互联网时代的教育将实现教育从教学内容到教育方式的全方位的转变。互联网推动整个教育教学的范式转变与流程再造,互联网时代教育的变革正源于外部动力和内部动力的共同作用。 (二)教育系统变革的内动力

数据挖掘考试题

数据挖掘考试题 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

数据挖掘考试题 一.选择题 1. 当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离( ) A.分类 B.聚类 C.关联分析 D.主成分分析 2. ( )将两个簇的邻近度定义为不同簇的所有点对邻近度的平均值,它是一种凝聚层次聚类技术。 (单链) (全链) C.组平均方法 3.数据挖掘的经典案例“啤酒与尿布试验”最主要是应用了( )数据挖掘方法。 A 分类 B 预测 C关联规则分析 D聚类 4.关于K均值和DBSCAN的比较,以下说法不正确的是( ) 均值丢弃被它识别为噪声的对象,而DBSCAN一般聚类所有对象。 均值使用簇的基于原型的概念,DBSCAN使用基于密度的概念。 均值很难处理非球形的簇和不同大小的簇,DBSCAN可以处理不同大小和不同形状的簇 均值可以发现不是明显分离的簇,即便簇有重叠也可以发现,但是DBSCAN会合并有重叠的簇 5.下列关于Ward’s Method说法错误的是:( ) A.对噪声点和离群点敏感度比较小 B.擅长处理球状的簇 C.对于Ward方法,两个簇的邻近度定义为两个簇合并时导致的平方误差 D.当两个点之间的邻近度取它们之间距离的平方时,Ward方法与组平均非常相似 6.下列关于层次聚类存在的问题说法正确的是:( ) A.具有全局优化目标函数 B.Group Average擅长处理球状的簇

C.可以处理不同大小簇的能力 D.Max对噪声点和离群点很敏感 7.下列关于凝聚层次聚类的说法中,说法错误的事:( ) A.一旦两个簇合并,该操作就不能撤销 B.算法的终止条件是仅剩下一个簇 C.空间复杂度为()2m O D.具有全局优化目标函数 8.规则{牛奶,尿布}→{啤酒}的支持度和置信度分别为:( ) 9.下列( )是属于分裂层次聚类的方法。 Average 10.对下图数据进行凝聚聚类操作,簇间相似度使用MAX计算,第二步是哪两个簇合并:( ) A.在{3}和{l,2}合并 B.{3}和{4,5}合并 C.{2,3}和{4,5}合并 D. {2,3}和{4,5}形成簇和{3}合并 二.填空题: 1.属性包括的四种类型:、、、。 2.是两个簇的邻近度定义为不同簇的所有点对邻近度的平均值。 3. 基本凝聚层次聚类算法空间复杂度,时间复杂度,如果某个簇到其他所有簇的距离存放在一个有序表或堆中,层次聚类所需要的时间复杂度将为。 4. 聚类中,定义簇间的相似度的方法有(写出四 个):、、、。 5. 层次聚类技术是第二类重要的聚类方法。两种层次聚类的基本方 法:、。 6. 组平均是一种界于和之间的折中方法。

浅谈大数据背景下数据挖掘的方法及其应用

浅谈大数据背景下数据挖掘的方法及其应用 人类已迈入大数据时代,但很多时候我们会感到被数据淹没,却缺乏知识的困窘,并没有“得数据者得天下”的能力。因此,数据挖掘成了我们提取海量数据信息的必要窗口,本文主要探讨数据挖掘的一些算法、模型及其应用以提高大数据处理能力。 1 什么是大数据 虽然說“大数据”一词在当今时期是炙手可热,很多人都曾对大数据进行定义,但至今为止仍然没有人给出一个明确的定义。大家都认为它具备规模大、多样化、动态化、处理速度快、蕴含有价值的信息,由于其具有规模庞大的特点,我们只能通过机器从浩如烟海、杂乱无章的数据中挖掘对我们有价值的信息,实现数据为我们所用。 2 什么是数据挖掘 数据挖掘是面向事实的,利用数据挖掘工具,以客观统计分析方法挖掘出企业经营的需求信息,得到正确的销售模式、客户关系和行为策略等,有利于企业掌握正确的经营动态,增加利润并减少开支。“数据挖掘”在方法论上强调“面向数据”,由于它充分运用了自动化的数据收集技术与速度快、容量大的计算机,从而具有处理大量复杂数据库的能力。数据挖掘技术能够进一步运用统计等方法对数据进行再分析,以获得更深入的了解,并具有预测功能,可借助已有的数据预测未来。 3 數据挖掘的过程 数据挖掘的过程一般可分为三个阶段,包括数据准备、模式发现与数据挖掘结果。数据准备阶段用于为后续的模式发现提供有质量的数据。包括数据净化、数据集成、数据变换和数据归约。模式发现阶段是数据挖掘过程中的核心阶段,第一要确定挖掘任务和挖掘算法,通过对历史数据的分析,结合用户需求、数据特点等因素,得到供决策使用的各种模式与规则,从该任务的众多算法中选择合适算法进行实际挖掘,得出挖掘结果,即相应的模式。挖掘结果阶段是怎样将挖掘出来的模式与规则以一种直观、容易理解的方式呈现给用户,即可视化。 4 数据挖掘的方法及应用 4.1 关联规则 关联规则挖掘是数据挖掘的本质,它通过对规模庞大的信息进行量化处理,然后建立各类信息的联系,从而让那些看似无关的信息的关联性得以显现并为我们所用。

大数据时代的具体例子

大数据时代,几个例子告诉你什么是大数据 工具类厂商蓄意炒作大数据,以达到售卖产品的目的,但导致的结果是很多人对大数据这一概念云里雾里。实际上,大数据就发生在你我身边,虽然你看不到它,但它却时时影响着我们的生活。 现阶段,和大数据相关的企业有三种。一种是工具类公司,他们宣传得最卖力,并且把大数据吹出了泡沫,原因是它们希望把自己的产品卖给企业;一种是依托于大数据从事咨询服务类的企业;还有一种就是实实在拥有大数据的公司,它们和我们休戚相关,也就是下面的小故事所要阐述的内容。 第一个故事,百货公司知道女孩怀孕 美国的Target百货公司上线了一套客户分析工具,可以对顾客的购买记录进行分析,并向顾客进行产品推荐。一次,他们根据一个女孩在Target连锁店中的购物记录,推断出这一女孩怀孕,然后开始通过购物手册的形式向女孩推荐一系列孕妇产品。这一作法让女孩的家长勃然大怒,事实真相是女孩隐瞒了怀孕消息。 点评:看似杂乱无章的购买清单,经过对比发现其中的规律和不符合常规的数据,往往能够得出一些真实的结论。这就是大数据的应用。 第二个故事,搜狗热词里的商机 王建锋是某综合类网站的编辑,基于访问量的考核是这个编辑每天都要面对的事情。但在每年的评比中,他都号称是PV王。原来他的秘密就是只做热点新闻。王建锋养成了看百度搜索风云榜和搜狗热搜榜的习惯,所以,他会优先挑选热情榜上的新闻事件来编辑整理,关注的人自然多。 点评:搜狗拥有输入法,搜索引擎,那些在输入法和搜索引擎上反复出现的热词,就是搜狗热搜榜的来源。通过对海量词汇的对比,找出哪些是网民关注的。这就是大数据的应用。 第三个故事,阿里云知道谁需要贷款 这是阿里人讲述的一个故事。每天,海量的交易和数据在阿里的平台上跑着,阿里通过对商户最近100天的数据分析,就能知道哪些商户可能存在资金问题,此时的阿里贷款平台就有可能出马,同潜在的贷款对象进行沟通。 点评:通常来说,数据比文字更真实,更能反映一个公司的正常运营情况。通过海量的分析得出企业的经营情况,这就是大数据的应用。 第四个故事,中移动挽留流失客户 iPhone进入中国后,铁杆的移动用户王永铭加入了联通合约机大军。由于合约机承担了大量通话内容,王永铭将全球通换成了动感地带。三个月之后,王永铭接到了中国移动的10086电话,向他介绍中移动的优惠资费活动。一位移动的

数据挖掘试题

单选题 1. 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 4. 当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离?(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6. 使用交互式的和可视化的技术,对数据进行探索属于数据挖掘的哪一类任务?(A) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 11.下面哪种不属于数据预处理的方法?(D) A变量代换B离散化 C 聚集 D 估计遗漏值 12. 假设12个销售价格记录组已经排序如下:5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时,15在第几个箱子内?(B) A 第一个 B 第二个 C 第三个 D 第四个 13.上题中,等宽划分时(宽度为50),15又在哪个箱子里?(A) A 第一个 B 第二个 C 第三个 D 第四个 16. 只有非零值才重要的二元属性被称作:( C ) A 计数属性 B 离散属性C非对称的二元属性 D 对称属性 17. 以下哪种方法不属于特征选择的标准方法:(D) A嵌入 B 过滤 C 包装 D 抽样 18.下面不属于创建新属性的相关方法的是:(B) A特征提取B特征修改C映射数据到新的空间D特征构造 22. 假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为:(D) A 0.821 B 1.224 C 1.458 D 0.716 23.假定用于分析的数据包含属性age。数据元组中age的值如下(按递增序):13,15,16,16,19,20,20,21,22,22,25,25,25,30,33,33,35,35,36,40,45,46,52,70, 问题:使用按箱平均值平滑方法对上述数据进行平滑,箱的深度为3。第二个箱子值为:(A) A 18.3 B 22.6 C 26.8 D 27.9 28. 数据仓库是随着时间变化的,下面的描述不正确的是(C) A. 数据仓库随时间的变化不断增加新的数据内容; B. 捕捉到的新数据会覆盖原来的快照; C. 数据仓库随事件变化不断删去旧的数据内容; D. 数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综合. 29. 关于基本数据的元数据是指: (D) A. 基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息; B. 基本元数据包括与企业相关的管理方面的数据和信息; C. 基本元数据包括日志文件和简历执行处理的时序调度信息; D. 基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息.

数据挖掘试卷及答案

12/13 年第2学期《数据挖掘与知识发现》期末考试试卷及答案 一、什么是数据挖掘?什么是数据仓库?并简述数据挖掘的步骤。(20分) 数据挖掘是从大量数据中提取或发现(挖掘)知识的过程。 数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合,用于支持经营管理中的决策制定过程。 步骤: 1)数据清理(消除噪声或不一致数据) 2) 数据集成(多种数据源可以组合在一起) 3 ) 数据选择(从数据库中检索与分析任务相关的数据) 4 ) 数据变换(数据变换或统一成适合挖掘的形式,如通过汇总或聚集操作) 5) 数据挖掘(基本步骤,使用智能方法提取数据模式) 6) 模式评估(根据某种兴趣度度量,识别表示知识的真正有趣的模式;) 7) 知识表示(使用可视化和知识表示技术,向用户提供挖掘的知识) 二、元数据的定义是什么?元数据包括哪些内容?(20分) 元数据是关于数据的数据。在数据仓库中, 元数据是定义仓库对象的数据。 元数据包括: 数据仓库结构的描述,包括仓库模式、视图、维、分层结构、导出数据的定义, 以及数据集市的位置和内容。 操作元数据,包括数据血统(移植数据的历史和它所使用的变换序列)、数据流通(主动的、档案的或净化的)、管理信息(仓库使用统计量、错误报告和审计跟踪)。 汇总算法,包括度量和维定义算法, 数据所处粒度、划分、主题领域、聚集、汇总、预定义的查询和报告。 由操作环境到数据仓库的映射,包括源数据库和它们的内容,网间连接程序描述, 数据划分, 数据提取、清理、转换规则和缺省值, 数据刷新和净化规则, 安全 (用户授权和存取控制)。 关于系统性能的数据,刷新、更新定时和调度的规则与更新周期,改善数据存取和检索性能的索引和配置。 商务元数据,包括商务术语和定义, 数据拥有者信息和收费策略。 三、在 O L A P 中,如何使用概念分层? 请解释多维数据模型中的OLAP上卷 下钻切片切块和转轴操作。(20分) 在多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层。这种组织为用户从不同角度观察数据提供了灵活性。有一些 O L A P 数据立方体操作用来物化这些不同视图,允许交互查询和分析手头数据。因此, O L A P 为交互数据分析提供了友好的环境。 上卷:上卷操作通过一个维的概念分层向上攀升或者通过维归约,在数据立方体上进行聚集。 下钻:下钻是上卷的逆操作,它由不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下或引入新的维来实现。 切片:在给定的数据立方体的一个维上进行选择,导致一个子方。 切块:通过对两个或多个维执行选择,定义子方。

相关文档
最新文档