数据挖掘概念和技术读书笔记
数据挖掘概念和技术读书笔记时代的挑战
近十几年来,人们利用信息技术生产和搜集数据的能力大幅度提高,千千万万个数据库被用于商业管理、政府办公、科学研究和工程开发等等,这一势头仍将持续发展下去。于是,一个新的挑战被提了出来：在这被称之为信息爆炸的时代,信息过量几乎成为人人需要面对的问题。如何才能不被信息的汪洋大海所淹没,从中及时发现有用的知识,提高信息利用率呢?要想使数据真正成为一个公司的资源,只有充分利用它为公司自身的业务决策和战略发展服务才行,否则大量的数据可能成为包袱,甚至成为垃圾。需要是发明之母，因此,面对"人们被数据淹没,人们却饥饿于知识"的挑战,数据挖掘和知识发现(DMKD)技术应运而生,并得以蓬勃发展,越来越显示出其强大的生命力。
这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。
2.历史的必然
从商业数据到商业信息的进化过程中，每一步前进都是建立在上一步的基础上的。见下表。表中我们可以看到，第四步进化是革命性的，因为从用户的角度来看，这一阶段的数据库技术已经可以快速地回答商业上的很多问题了。
从下表中还可以清晰得看到，数据挖掘的应运而生是历史必然的选择，它符合人类社会的认识事物的客观发展规律，仅从这一点上来讲，刚刚开始处于流行中的数据挖掘的前景还是非常乐观的。
进化阶段商业问题支持技术产品厂家产品特点
数据搜集
(60年代)"过去五年中我的总收入是多少?"计算机、磁带和磁盘IBM,CDC
提供历史性的、静态的数据信息
数据访问
(80年代)"在纽约的分部去年三月的销售额是多少?"关系数据库(RDBMS)，
结构化查询语言(SQL)，ODBCOracle、Sybase、Informix、IBM、Microsoft在
记录级提供历史性的、动态数据信息
数据仓库；决策支持
(90年代)"在纽约的分部去年三月的销售额是多少?洛杉矶据此可得出什么
结论?"联机分析处理(OLAP)、多维数据库、数据仓库Pilot、Comshare、Arbor、Cognos、Microstrategy在各种层次上提供回溯的、动态的数据信息
数据挖掘
(正在流行)"下个月洛杉矶的销售会怎么样?为什么?"高级算法、多处理器
计算机、海量数据库Pilot、Lockheed、IBM、SGI、其他初创公司提供预测性
的信息
3.数据挖掘的定义
数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和
知识的过程。还有很多和这一术语相近似的术语,如从数据库中发现知识(KDD)、数据分析、数据融合(Data Fusion)以及决策支持等。人们把原始数据看作是形成知识的源泉,就像从矿石中采矿一样。原始数据可以是结构化的,如关系数据
库中的数据,也可以是半结构化的,如文本、图形、图像数据,甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的,也可以是非数学的；可以是演绎的,也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等,还可以用于数据自身的维护。因此,数据挖掘是一门非常广义
的交叉学科,它汇聚了不同领域的研究者,尤其是数据库、人工智能、数理统计、可视化、并行计算等方面的学者和工程技术人员。
简而言之，数据挖掘其实是一类深层次的数据分析方法。数据分析本身已
经有很多年的历史，只不过在过去数据收集和分析的目的是用于科学研究，另外，由于当时计算能力的限制，对大数据量进行分析的复杂数据分析方法受到
很大限制。现在，由于各行业业务自动化的实现，商业领域产生了大量的业务
数据，这些数据不再是为了分析的目的而收集的，而是由于商业运作而产生。
分析这些数据也不再是单纯为了研究的需要，更主要是为商业决策提供真正有
价值的信息，进而获得利润。但所有企业面临的一个共同问题是：企业数据量
非常大，而其中真正有价值的信息却很少，因此从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘
也因此而得名。
4.数据挖掘的知识分类
4.1概化知识(Generalization)
概化知识指类别特征的概括性描述知识。根据数据的微观特性发现其表征的、带有普遍性的、较高层次概念的、中观和宏观的知识，反映同类事物共同
性质，是对数据的概括、精炼和抽象。
概化知识的发现方法和实现技术有很多，如数据立方体、面向属性的归约等。数据立方体还有其他一些别名，如"多维数据库"、"实现视图"、"OLAP"等。该方法的基本思想是实现某些常用的代价较高的聚集函数的计算，诸如计数、
求和、平均、最大值等，并将这些实现视图储存在多维数据库中。既然很多聚
集函数需经常重复计算，那么在多维数据立方体中存放预先计算好的结果将能
保证快速响应，并可灵活地提供不同角度和不同抽象层次上的数据视图。另一
种概化知识发现方法是加拿大SimonFraser大学提出的面向属性的归约方法。
这种方法以类SQL语言表示数据挖掘查询，收集数据库中的相关数据集，然后
在相关数据集上应用一系列数据推广技术进行数据推广，包括属性删除、概念
树提升、属性阈值控制、计数及其他聚集函数传播等。
4.2关联知识(Association)
它反映一个事件和其他事件之间依赖或关联的知识。如果两项或多项属性
之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预测。最为
著名的关联规则发现方法是R.Agrawal提出的Apriori算法。关联规则的发现
可分为两步。第一步是迭代识别所有的频繁项目集，要求频繁项目集的支持率
不低于用户设定的最低值；第二步是从频繁项目集中构造可信度不低于用户设
定的最低值的规则。识别或发现所有频繁项目集是关联规则发现算法的核心，
也是计算量最大的部分。
4.3分类和聚类知识(Classification&Clustering)
它反映同类事物共同性质的特征型知识和不同事物之间的差异型特征知识。最为典型的分类方法是基于决策树的分类方法。它是从实例集中构造决策树，
是一种有指导的学习方法。该方法先根据训练子集(又称为窗口)形成决策树。
如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到窗口中，
重复该过程一直到形成正确的决策集。最终结果是一棵树，其叶结点是类名，
中间结点是带有分枝的属性，该分枝对应该属性的某一可能值。最为典型的决
策树学习系统是ID3，它采用自顶向下不回溯策略，能保证找到一个简单的树。算法C4.5和C5.0都是ID3的扩展，它们将分类领域从类别属性扩展到数值型
属性。
数据分类还有统计、粗糙集(RoughSet)等方法。线性回归和线性辨别分析
是典型的统计模型。为降低决策树生成代价，人们还提出了一种区间分类器。
最近也有人研究使用神经网络方法在数据库中进行分类和规则提取，其中的代
表就是向后传播分类。
4.4预测型知识(Prediction)
它根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可
以认为是以时间为关键属性的关联知识。
目前，时间序列预测方法有经典的统计方法、神经网络和机器学习等。
1968年Box和Jenkins提出了一套比较完善的时间序列建模理论和分析方法，
这些经典的数学方法通过建立随机模型，如自回归模型、自回归滑动平均模型、求和自回归滑动平均模型和季节调整模型等，进行时间序列的预测。由于大量
的时间序列是非平稳的，其特征参数和数据分布随着时间的推移而发生变化。
因此，仅仅通过对某段历史数据的训练，建立单一的神经网络预测模型，还无
法完成准确的预测任务。为此，人们提出了基于统计学和基于精确性的再训练
方法，当发现现存预测模型不再适用于当前数据时，对模型重新训练，获得新
的权重参数，建立新的模型。也有许多系统借助并行算法的计算优势进行时间
序列预测。
4.5偏差型知识(Deviation)
--此外，还可以发现其他类型的知识，如偏差型知识(Deviation)，它是对差异和极端特例的描述，揭示事物偏离常规的异常现象，如标准类外的特例，
数据聚类外的离群值等。
所有这些知识都可以在不同的概念层次上被发现，并随着概念层次的提升，从微观到中观、到宏观，以满足不同用户不同层次决策的需要。
5.数据挖掘的常用技术
5.1人工神经网络
仿照生理神经网络结构的非线形预测模型，通过学习进行模式识别。粗略
的说，神经网络是一组连接的神经单元，其中每个连接都与一个权相联。在学
习阶段，通过调整神经网络的权，使得能够预测输入样本的正确类标号来学习。由于单元之间的连接，神经网络学习又称连接者学习。它的优点包括对噪声数
据的高承受力，以及它对未经训练的数据分类模型的能力。
5.2判定树
"什么是判定树?"判定树(decision tree)是一个类似于流程图的树结构。
它和算法与数据结构中的二叉判定树的概念很类似。其中每个内部节点表示在
一个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点代表类或类
分布。树的最顶层界定就是根节点。
5.3遗传算法
基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的
优化技术。根据适者生存的原则，形成由当前群体中最合适的规则组成新的群
《数学之美》读书笔记
《数学之美》读书笔记 《数学之美》读书笔记 《数学之美》是一本领域相关的数学概念书，生动形象地讲解了关于数据挖掘、文本检索等方面的基础知识，可以作为数据挖掘、文本检索的入门普及书。另外，就像作者吴军老师提到的，关键是要从中学到道----解决问题的方法，而不仅仅是术。书中也启发式的引导读者形成自己解决问题的道。 下面记录一下自己读这本书的一些感想： 第一章《文字和语言vs数字和信息》：文字和语言中天然蕴藏着一些数学思想，数学可能不仅仅的是一门非常理科的知识，也是一种艺术。另外，遇到一个复杂的问题时，可能生活中的一些常识，一些简单的思想会给你带来解决问题的灵感。 第二章《自然语言处理----从规则到统计》：试图模拟人脑处理语言的模式，基于语法规则，词性等进行语法分析、语义分析的自然语言处理有着很大的复杂度，而基于统计的语言模型很好的解决了自然语言处理的诸多难题。人们认识这个过程，找到统计的方法经历了20多年，非常庆幸我们的前辈已经帮我们找到了正确的方法，不用我们再去苦
苦摸索。另外，这也说明在发现真理的过程中是充满坎坷的，感谢那些曾经奉献了青春的科学家。自己以后遇到问题也不能轻易放弃，真正的成长是在解决问题的过程中。事情不可能一帆风顺的，这是自然界的普遍真理吧！ 第三章《统计语言模型》：自然语言的处理找到了一种合适的方法---基于统计的模型，概率论的知识开始发挥作用。二元模型、三元模型、多元模型，模型元数越多，计算量越大，简单实用就是最好的。对于某些不出现或出现次数很少的词，会有零概率问题，这是就要找到一数学方法给它一个很小的概率。以前学概率论的时候觉的没什么用，现在开始发现这些知识可能就是你以后解决问题的利器。最后引用作者本章的最后一句话：数学的魅力就在于将复杂的问题简单化。 第四章《谈谈中文分词》：中文分词是将一句话分成一些词，这是以后进一步处理的基础。从开始的查字典到后来基于统计语言模型的分词，如今的中文分词算是一个已经解决的问题。然而，针对不同的系统、不同的要求，分词的粒度和方法也不尽相同，还是针对具体的问题，提出针对该问题最好的方法。没有什么是绝对的，掌握其中的道才是核心。 第五章《隐马尔科夫模型》：隐马尔科夫模型和概率
数据挖掘
一、数据挖掘概述 1、数据挖掘 定义：通过自动或半自动化的工具对大量的数据进行探索和分析的过程，其目的是发现其中有意义的模式和规律。 ——数据挖掘是一门技能，不是一种现成的产品。 2、数据挖掘能做什么 6种方法：分类（classification）、估计（estimation）、预测（prediction）、组合或关联法则（affinity grouping or association rules）、聚类（clustering）、描述与可视化（description and visualization） 前三种方法属于直接的数据挖掘，目标是应用可得到的数据建立模型，用其他可得到的数据来描述我们感兴趣某一变量。 后三种方法属于间接的数据挖掘，没有单一的目标变量，目标是在所有变量中发现某些联系。 1）分类：其特点是先对不同的类别加以定义，并由预先分类的样本构成训练集。任务是建立一个模型并应用这一模型对未分类数据进行分类。分类处理的是离散的结果。 2）估计处理的是连续的结果。 3）组合法的任务是确认哪些事物会一起出现。 4）聚类的任务是将相似的事物分成一类，差异较大的事物分在不同的类中。聚类与分类的区别是聚类并不依赖于事先确定好的组别。 3、技术层面的数据挖掘 1）算法与技巧 2）数据 3）建模实践 二、数据挖掘方法论：互动循环系统 1、数据挖掘的两种类型 一种是自上而下的方法，称之为有监督的数据挖掘方法，当明确知道要搜索的目标时，可以是用这种方法。 一种是自下而上的方法，称之为无监督的数据挖掘方法，实际就是让数据解释自己。此方法是在数据中寻找模式，然后把产生的结果留给使用者去判断其中哪些模式重要。 数据挖掘的结果通常是这两种方法的结合。 1）有监督的数据挖掘 黑匣子模型：使用一个或多个输入值产生一个输出的模型。我们并不关心模型如何运作，那只是黑盒子，我们只关心可能的最优结果。 我们根据已知事例，分析其相关资料，将分析结果用在从未联络的潜在客户，这样的模型称之为预测模型。预测模型使用历史记录来计算某些相应结果中的得分。成功预测的要领之一是拥有足够支持结果的数据来训练模型。 2）无监督的数据挖掘 半透明模型：有时需要使用模型能够得到与数据相关的重要信息，我们也需要了解模型的运作细节，这就好比一组半透明的盒子。 2、数据挖掘的互动循环过程 数据挖掘的互动过程是一种高层次的流程，由四个重要的业务过程所构成： 理解业务问题； 将数据转换成可执行的结果；
数据挖掘概念与技术-课后题答案汇总
数据挖掘概念与技术-课后题答案汇总
数据挖掘——概念概念与技术 Data Mining Concepts and Techniques 习题解答 Jiawei Han Micheline Kamber 著 范明孟晓峰译
目录
第 1 章 引言 1.1 什么是数据挖掘？在你的回答中，针对以下问题： 1.2 1.6 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测 聚 类和演变分析。使用你熟悉的现实生活的数据库，给出每种数据挖掘功 能的例子。 解答： ? 特征化是一个目标类数据的一般特性或特性的汇总。例如，学生的特征 可 被提出，形成所有大学的计算机科学专业一年级学生的轮廓，这些特 征包括作为一种高的年级平均成绩(GPA ：Grade point aversge) 的信息， 还有所修的课程的最大数量。 ? 区分是将目标类数据对象的一般特性与一个或多个对比类对象的一 般 特性进行比较。例如，具有高 GPA 的学生的一般特性可被用来与具有 低 GPA 的一般特性比较。最终的描述可能是学生的一个一般可比较的 轮廓，就像具有高 GPA 的学生的 75%是四年级计算机科学专业的学生， 而具有低 G PA 的学生的 65%不是。 ? 关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特 征 值的 条 件。 例 如， 一 个数 据 挖掘 系 统可 能 发现 的 关联 规 则为 ： major(X, “ c omputing science ”) owns(X, “personal computer ” ) [support=12%, confid ence=98%] 其中，X 是一个表示学生的变量。这个规则指出正在学习的学生，12% （支持度）主修计算机科学并且拥有一台个人计算机。这个组一个学生 拥有 一 台个人电脑的概率是 98%（置信度? 分类与预测不同，因为前者的作用是构
(完整版)数据挖掘概念课后习题答案
第 1 章 1.6 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。 使用你熟悉的现实生活的数据库，给出每种数据挖掘功能的例子。 ?特征化是一个目标类数据的一般特性或特性的汇总。例如，学生的特征可被提出，形成所 有大学的计算机科学专业一年级学生的轮廓，这些特征包括作为一种高的年级平均成绩 (GPA：Grade point a ve r s ge) 的信息，还有所修的课程的最大数量。 ?区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比 较。例如，具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较。最 终的描述可能是学生的一个一般可比较的轮廓，就像具有高GPA 的学生的75%是四年级 计算机科学专业的学生，而具有低GPA 的学生的65%不是。 ?关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。 例如，一个数据挖掘系统可能发现的关联规则为： m a j or(X,“c omput i ng s c i e nc e”) ?owns(X, “pe r s ona l c omput e r”) [s uppor t=12%,c on f i d e nc e=98%] 其中，X 是一个表示学生的变量。这个规则指出正在学习的学生，12%（支持度）主修计算机科学并且拥有一台 。 个人计算机。这个组一个学生拥有一台个人电脑的概率是98%（置信度，或确定度） ?分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型（或，而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。它们的 功能） 相似性是他们都是预测的工具：分类被用作预测目标数据的类的标签，而预测典型的应用是 预测缺失的数字型数据的值。 ?聚类分析的数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织形式，将观测组织成类分层结构，把类似的事件组织在一起。 ?数据延边分析描述和模型化随时间变化的对象的规律或趋势，尽管这可能包括时间相关数 据的特征化、区分、关联和相关分析、分类、或预测，这种分析的明确特征包括时间序列数据分 析、序列或周期模式匹配、和基于相似性的数据分析 1.9 列举并描述说明数据挖掘任务的五种原语。 五种原语是： ?任务相关数据：这种原语指明给定挖掘所处理的数据。它包括指明数据库、数据库表、或 数据仓库，其中包括包含关系数据、选择关系数据的条件、用于探索的关系数据的属性或 维、关于修复的数据排序和分组。 ?挖掘的数据类型：这种原语指明了所要执行的特定数据挖掘功能，如特征化、区分、关 联、分类、聚类、或演化分析。同样，用户的要求可能更特殊，并可能提供所发现的模式必 须匹配的模版。这些模版或超模式（也被称为超规则）能被用来指导发现过程。 ?背景知识：这种原语允许用户指定已有的关于挖掘领域的知识。这样的知识能被用来指导 知识发现过程，并且评估发现的模式。关于数据中关系的概念分层和用户信念是背景知识的 形式。 ?模式兴趣度度量：这种原语允许用户指定功能，用于从知识中分割不感兴趣的模式，并且 被用来指导挖掘过程，也可评估发现的模式。这样就允许用户限制在挖掘过程返回的不感兴 趣的模式的数量，因为一种数据挖掘系统可能产生大量的模式。兴趣度测量能被指定为简易 性、确定性、适用性、和新颖性的特征。 ?发现模式的可视化：这种原语述及发现的模式应该被显示出来。为了使数据挖掘能有效地
【读书笔记】数据分析学习总结(一)：数据分析那些事儿
1.明确分析思路： 首先要明确分析目的：菜鸟与数据分析师的区别就在于菜鸟做分析时目的不明确，从而导致分析过程非常盲目。这点有比较深的体会，在公司里做过关于搜索和新手的产品数据分析，自己对分析目的没考虑太多，靠的是前人留下的上期数据分析结果，倘若让我从零开始做，估计会很盲目。 然后确定分析思路：梳理分析思路，并搭建分析框架，把分析目的分解成若干个不同的分析要点，即如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标。 最后还要确保分析框架的体系化，使分析结果具有说服力：营销方面的理论模型有4P、用户使用行为、ST P理论、SWOT等；管理方面的理论模型有PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART等。在上周一个汇报上使用了SWOT分析方法，对这些营销或管理的模型还都很陌生。 2.数据收集：
一般数据来源于以下几种方式：数据库、公开出版物（统计年鉴或报告）、互联网、市场调查。 3.数据处理： 数据处理主要包括数据清洗、数据转化、数据提取、数据计算等处理方法。导师提过在做数据处理时，不要在原始数据上进行数据处理以防原始数据丢失，保留数据处理过程以便发现错误时查找。 4.数据分析： 数据分析是指用适当的分析方法及工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程。 与数据挖掘的关系是数据挖掘侧重解决四类数据分析问题：分类、聚类、关联和预测，重点在寻找模式与规律。 5.数据展现： 一般情况下，数据是通过表格和图形的方式来呈现的。常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等。进一步加工整理变成我们需要的图形，如金字塔图、矩阵图、漏斗图、帕雷托图等。 在一般情况下，能用图说明问题的就不用表格，能用表说明问题的就不用文字。 6.报告撰写： 一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。 另外，数据分析报告需要有明确的结论，没有明确结论的分析称不上分析，好的分析报告一定要有建议或解决方案。 三、数据分析的三大误区： 1.分析目的不明确，为分析而分析。 2.缺乏业务知识，分析结果偏离实际：数据分析师的任务不是单纯做数学题，数据分析师还必须懂营销，懂管理，更要懂策略。上周五听了公司专门做数据分析的同事做的关于新手留存的数据分析专题，他们数理统计专业知识必然过硬，而且对业务比较熟悉，能通过数据结合不同业务做出相应
数据挖掘概念与技术(第三版)部分习题答案
1.4 数据仓库和数据库有何不同？有哪些相似之处？ 答：区别：数据仓库是面向主题的，集成的，不易更改且随时间变化的数据集合，用来支持管理人员的决策，数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成，是面向操作型的数据库，是组成数据仓库的源数据。它用表组织数据，采用ER 数据模型。 相似：它们都为数据挖掘提供了源数据，都是数据的组合。 1.3 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。使用你熟悉的现实生活的数据库，给出每种数据挖掘功能的例子。 答：特征化是一个目标类数据的一般特性或特性的汇总。例如，学生的特征可被提出，形成所有大学的计算机科学专业一年级学生的轮廓，这些特征包括作为一种高的年级平均成绩(GPA ：Grade point aversge) 的信息， 还有所修的课程的最大数量。 区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。例如， 具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较。最终的描述可能是学生的一个一般可比较的轮廓，就像具有高GPA 的学生的75% 是四年级计算机科学专业的学生，而具有低GPA 的学生的65% 不是。 关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。例如，一个数据挖掘系统可能发现的关联规则为：major(X, “ computing science ” ) ? owns(X, “ personal computer ” ) [support=12%, confidence=98%] 其中，X 是一个表示学生的变量。这个规则指出正在学习的 学生，12% (支持度)主修计算机科学并且拥有一台个人计算机。这个组一个学生拥有一台个人电脑的概率是98% (置信度，或确定度)。 分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功能)，而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。它们的相似性是他们都是预测的工具： 分类被用作预测目标数据的类的标签，而预测典型的应用是预测缺失的数字型数据的值。 聚类分析的数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织形式，将观测组织成类分 层结构，把类似的事件组织在一起。 数据演变分析描述和模型化随时间变化的对象的规律或趋势，尽管这可能包括时间相关数据的特征化、区分、关联和相关分析、分类、或预测，这种分析的明确特征包括时间序列数据分析、序列或周期模式匹配、和基于相似性的数据分析 2.3 假设给定的数据集的值已经分组为区间。区间和对应的频率如下。 年龄频率 1~5200 5~15450 15~20300 20~501500 50~80700 80~11044 计算数据的近似中位数值。 解答：先判定中位数区间：N=200+450+300+1500+700+44=3194 ；N/2=1597
《医疗大数据》读书笔记
在我国，由于国家信息化战略的侧重与新一轮医疗制度改革的催生，从历史沿革角度看，医疗设备和医疗服务的信息化是被涵盖在医疗机构信息化之内。 结合国际上统一的医疗信息化划分标准与我国特色，医疗机构信息化由以下部分组成。1）医院管理信息系统。 医院管理信息系统，指以收费为中心，对门急诊的挂号、划价、收费、配药，住院患者的医嘱、配药、记账，以及医院的人、财、物等工作，实施计算机网络管理，对由各信息点采集的数据进行初步统计分析，并提供管理人员查询、管理和决策。 临床信息系统，指以患者为中心，使用影像存档和传输系统（PACS）、放射信息系统（radiology information system，RIS）、检验信息系统（laboratory information management system，LIS）、病理信息系统（pathology information system，PIS）、手术室信息系统（operating room information system，ORIS）等，用来全面收集患者的临床信息，并通过医生工作站提供给医生。医生可使用电子医嘱录入系统（computerized physician order entry，CPOE）录入处方、医嘱和检查申请单，查询检查结果，以医疗文件“无纸化”来提高诊治的 “三长一短”现象：挂号、候诊、收费队伍长, 看病时间短。 电子病历并非是患者传统纸质病历单纯的电子化，而是实现病 历信息的采集、存储、传递、表现和加工利用。挖掘电子病历数据，能从临床路径上用数据循证医学证据，建立起有关临床治疗的多种常规模式，并最终起到规范医疗行为的作用，减少变异、降低成本、提高质量，这无疑是有重要价值的。 上医治未病之病，谓之养生；中医治欲病之病，谓之保健；下医治已病之病，谓之医疗”， 医疗大数据的来源主要有以下4个方面：（1）制药企业、生命科学药物研发所产生的数据是相当密集的，对于中小型的企业也在百亿字节（TB）以上的。
数据挖掘及决策树
理工大学信息工程与自动化学院学生实验报告 （ 2016 — 2017 学年第学期） 信自楼444 一、上机目的及容 目的： 1．理解数据挖掘的基本概念及其过程； 2．理解数据挖掘与数据仓库、OLAP之间的关系 3．理解基本的数据挖掘技术与方法的工作原理与过程，掌握数据挖掘相关工具的使用。 容： 给定AdventureWorksDW数据仓库，构建“Microsoft 决策树”模型，分析客户群中购买自行车的模式。 要求: 利用实验室和指导教师提供的实验软件，认真完成规定的实验容，真实地记录实验中遇到的 二、实验原理及基本技术路线图（方框原理图或程序流程图） 请描述数据挖掘及决策树的相关基本概念、模型等。 1.数据挖掘：从大量的、不完全的、有噪音的、模糊的、随机的数据中，提取隐含在其中的、 人们事先不知道的、但又潜在有用的信息和知识的过程。
项集的频繁模式 分类与预测分类：提出一个分类函数或者分类模型，该模型能把数据库中的数据项 映射到给定类别中的一个； 预测：利用历史数据建立模型，再运用最新数据作为输入值，获得未来 变化趋势或者评估给定样本可能具有的属性值或值的围 聚类分析根据数据的不同特征，将其划分为不同数据类 偏差分析对差异和极端特例的描述，揭示事物偏离常规的异常现象，其基本思想 是寻找观测结果与参照值之间有意义的差别 3.决策树：是一种预测模型，它代表的是对象属性与对象值之间的一种映射关系。树中每个 节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从 根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输 出，可以建立独立的决策树以处理不同输出。 算法概念 ID3 在实体世界中，每个实体用多个特征来描述。每个特征限于在一 个离散集中取互斥的值 C4.5 对ID3算法进行了改进： 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选 择取值多的属性的不足；在树构造过程中进行剪枝；能够完成对 连续属性的离散化处理；能够对不完整数据进行处理。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC及Microsoft SQL Server套件 四、实验方法、步骤（或：程序代码或操作过程） （一）准备 Analysis Services 数据库 1.Analysis Services 项目创建成功
涂子沛的《大数据》读后感
读涂子沛的《大数据》有感 沂源三中韩云祥 涂子沛的《大数据》从民主和国家战略的层面介绍了大数据的影响力，全书通篇没有晦涩难懂的专业术语，作者用平实的语言，形象生动的讲明白了数据开放、技术创新和社会进步之间的关系，环环相扣，鞭辟入里，引人入胜，非常值得深思。 《大数据》从奥巴马建设“前所未有的开放政府”出发，描写了半个多世纪以来数据对美国社会政治、商业、文化等方方面面的影响，谈及了1930年以来历任美国总统，可谓波澜壮阔。本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook 和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。《大数据》这部书，清楚地叙述了资讯时代对我们生活的影响与社会的控御力。它以数据为轴线，描绘了美国走过的开放创新历程。从该历程中我们看到，数据挖掘是一种知识生产过程，从中产生创新，产生管理，产生推动社会变革的理论与实践。更有意思的是，美国政治的发展，公民权利的实现，以及各种自由与福利的保障，都和对数据的创造性应用密切相关。这对已经步入信息时代的中国，尤其有借鉴意义。 众所周知，我们当今已经处在一个数据大爆炸的信息时代，数据之大主要
体现在三个方面：一是体量规模大。数据具有强劲的生命力，社会和生活的方方面面几乎都可以用数据来记录和测量，无处不存在，无时不产生，无刻不在发挥作用，生生不息，绵延不绝。以往我们选择的是记录哪方面的数据，如今我们选择不记录哪方面的数据。二是研究价值大。数据里既记录了事实，又蕴藏了商机，还反映了群众需求，因此数据影响着政府的决策和执行，引导着企业的盈利和创新，改变着个人的思想和习惯。数据就像土地、能源和资本一样，成为支撑整个社会经济发展的根本性资源。三是社会影响大。通过对海量数据的研究分析，能够从纷繁复杂的数据中挖掘出潜藏的规律性知识，将这些规律性知识应用于政治、经济社会生活的方方面面，将对社会运行模式和人类行为方式产生革命性的影响。 数据驱动的工具，实时反馈中蕴含着辅助教师和学生的巨大潜力。数据勘探和数据分析软件可以通过提供实时反馈学业表现来帮助学生。此外，教师可以使用数据驱动工具来研究学生的学习模式并修正课程以便满足学生个人的需要。 就我目前从事的教育管理工作而言，其各环节的工作都是以数据为基础而展开的，因此在工作中更要结合数据的三大特征，以数为据，用数据说话，用数据改进管理，用数据推动工作创新。数据的教育工具是如何提供即使反馈给学生和教师的。举例来说，一个教阅读的程序控件可以收集关于学生阅读某篇文章所需时间的数据。小测验将马上告诉学生们他们的答案是否正确——这就将教师从冗长累人耗时巨大的评分工作中解放出来——并能将学生的表现与同班同学和全县范围内的学生相比较。实时工具可以制作报告，详细展现每个学生阅读时间和理解力，词汇技能，以及补充工具的使用(例如提供额外词汇
数据挖掘概念与技术-课后题答案汇总汇总
数据挖掘——概念概念与技术 Data Mining Concepts and T echniques 习题答案 第1章引言 1.1 什么是数据挖掘？在你的回答中，针对以下问题： 1.2 1.6 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测 聚类和演变分析。使用你熟悉的现实生活的数据库，给出每种数据 挖掘功能的例子。 解答： ?特征化是一个目标类数据的一般特性或特性的汇总。例如，学生的特征可被提出，形成所有大学的计算机科学专业一年级学生的轮廓， 这些特征包括作为一种高的年级平均成绩(GPA：Grade point aversge) 的信息，还有所修的课程的最大数量。 ?区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。例如，具有高GPA 的学生的一般特性可被用来 与具有低GPA 的一般特性比较。最终的描述可能是学生的一个一 般可比较的轮廓，就像具有高GPA 的学生的75%是四年级计算机科 学专业的学生，而具有低GPA 的学生的65%不是。 ?关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。例如，一个数据挖掘系统可能发现的关联规则 为： major(X, “c omputing science”) owns(X, “personal computer”) [support=12%, c onfid e nce=98%] 其中，X 是一个表示学生的变量。这个规则指出正在学习的学生，12% （支持度）主修计算机科学并且拥有一台个人计算机。这个组一个学 生拥有一台个人电脑的概率是98%（置信度，或确定度）。 ?分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型（或功能），而后者是建立一个模型去预测缺失的 或无效的、并且通常是数字的数据值。它们的相似性是他们都是预 测的工具：分类被用作预测目标数据的类的标签，而预测典型的应用 是预测缺失的数字型数据的值。 ?聚类分析的数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织形式，将观测组织成类分层结构，把类似的事件组织在一起。 ?数据延边分析描述和模型化随时间变化的对象的规律或趋势，尽管这可能包括时间相关数据的特征化、区分、关联和相关分析、分类、或预测， 这种分析的明确特征包括时间序列数据分析、序列或周期模式匹配、和 基于相似性的数据分析 1.3 1.9 列举并描述说明数据挖掘任务的五种原语。 解答： 用于指定数据挖掘任务的五种原语是：
写给数据挖掘新入行的朋友
写给数据挖掘新入行的朋友 本帖中包含了数据挖掘初学者常见的问题，DMFighter对我以前回复的一些问题进行了精心的整理，在此也感谢他的辛勤工作。 本文内容涵盖以下几个部分： 关于论文如何创新 数据挖掘人员从事的工作内容 读博深造的必要性 自学时的大方向 请问：现在数据挖掘开发主流平台和编程语言。那些更有优势呢？现在大都用什么呢问题1：现在选择数据挖掘作为终身职业是明智之举吗？ 问题2：如果我现在选择了数据挖掘，应该怎么做？ 问题3：如何使学习阶段与行业应用靠拢？ 对不同算法的性能效果进行评估比较，总结各种算法的特点及适用范围。当然，如果能对算法做些有益的改进更好，可以让论文的学术性更强。最后，描述出应用了关联分析的结果能带来什么效益（比如对货架位置的调整、对客户的交叉销售等到）。 一位数据挖掘成功人士给数据挖掘在读研究生的建议： 关于数据挖掘方面的研究，我原来也走过一些弯路。其实从数据挖掘的起源可以发现，它并不是一门崭新的科学，而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成，同时与专家系统、知识管理等研究方向不同的是，数据挖掘更侧重于应用的层面。 因此来说，数据挖掘融合了相当多的内容，试图全面了解所有的细节会花费很长的时间。因此我建议你的第一步是用大概三个月的时间了解数据挖掘的几个常用技术：分类、聚类、
预测、关联分析、孤立点分析等等。这种了解是比较粗的，目标是明白这些技术是用来干什么的，典型的算法大致是怎样的，以及在什么情况下应该选用什么样的技术和算法。 经过初步了解之后，就要进入选题的阶段，选择自己感兴趣的某个具体方向，然后通读该方向的经典论文（综述、主要发展方向、应用成果）。选题阶段可能会花费较长的时间，比如一年。此时，要逐渐明确突破点，也就是将来你论文的创新点。创新对于研究来说非常重要，一方面该创新的确比原来的方法要好，另一方面该创新的确具有实用的价值。 随后，就要来实现自己的想法。通常对于硕士论文来说，需要建立原型系统，进行试验，并用试验结果来支持自己的论文主题。原型系统就是对自己创新点的实现，需要很好地设计和开发。需要注意的是，原型系统的建立和开发商用系统不同，需要体现比较好的理论基础。也就是说，原型系统并不是简单地用于实现功能，而是将你的一整套理论付诸实现。这种理论基础也将会包含在你的论文中，以体现论文的理论高度。 原型系统的搭建以及产生令人信服试验结果，这个过程一般需要至少一年的时间。所以要集中精力于核心部分（体现论文创新点的部分），外围的界面等等不应投入太多的精力，以免进度失控。 最后是论文的整理和写作了。建议你在之前的阶段中逐步先写出一些篇幅较短的论文（用于发在期刊、会议上），比如综述、体系框架、算法内核、应用等等。这样在最后写毕业论文时就有了足够多的内容，会写得更好更快一些。 以上只是泛泛而谈。其实我觉得其中的关键点在于选题，而选题的好坏取决于你对数据挖掘研究现状的了解、你的兴趣和专长、以及该方向在应用上的意义。建议你和导师、同行多交流，能够让自己的方向更清晰。 至于数据挖掘领域的就业，应该来说还是前景不错的。如果你对研究有兴趣，象微软研究院、Google、高校研究所都是不错的地方；如果你对实际应用有兴趣，很多大的公司包括IBM、Accenture、亚信等等都有相应的人力需求，当然一些甲方的单位比如证券、保险、金融等等单位也都需要分析人才。 关于论文如何创新 “创新”是个很尖锐的问题。以前我帮导师审论文时，给论文评分包括几个要素，分别是理论基础是否坚实、研究问题的重要性、研究成果的创新性等。
人工智能读书笔记
人工智能 第一章：人工智能 (1)人工智能基本概念、方法和技术:基本技术：知识表示、推理、搜索、规划 (2)人工智能的主要研究、应用领域 机器感知：机器视觉；机器听觉；自然语言理解；机器翻译 机器思维：机器推理 机器学习：符号学习；连接学习 机器行为：智能控制 智能机器：智能机器人；机器智能 智能应用：博弈；自动定理证明；自动程序设计 专家系统；智能决策；智能检索；智能CAD；智能CAI 智能交通；智能电力；智能产品；智能建筑等 (3)人工智能新技术 计算智能：神经计算；模糊计算；进化计算；自然计算 人工生命：人工脑；细胞自动机 分布智能：多Agent , 群体智能 数据挖掘：知识发现；数据挖掘 (4)人工智能研究领域：重点介绍机器学习 机器思维：就是让计算机模仿和实现人的思维能力，以对感知到的外界信息和自己产生的内部信息进行思维性加工。 机器思维包括：推理、搜索、规划等方面的研究。 机器感知是机器获取外界信息的主要途径，也是机器智能的重要组成部分。 所谓机器感知，就是要让计算机具有类似于人的感知能力，如视觉、听觉、触觉、味觉。 机器行为就是让计算机能够具有像人那样地行动和表达能力，如走、跑、拿、说、唱、写画等。 知识表示:知识表示的观点 陈述性观点：知识的存储与知识的使用相分离 优点：灵活、简洁，演绎过程完整、确定，知识维护方便 缺点：推理效率低、推理过程不透明 过程性观点：知识寓于使用知识的过程中 优点：推理效率高、过程清晰 缺点：灵活性差、知识维护不便 知识表示的方法 逻辑表示法：一阶谓词逻辑 产生式表示法：产生式规则 结构表示法：语义网络，框架 谓词逻辑表示的应用 机器人移盒子问题:分别定义描述状态和动作的谓词 描述状态的谓词： TABLE(x)：x是桌子 EMPTY(y)：y手中是空的 AT(y, z)：y在z处
数据挖掘概念与技术word版
摘要 随着计算机和网络的发展，对于大数据需要数据分析，在分析数据的时候，数据挖掘的过程也叫知识发现的过程，它是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化、并行计算等领域。本文主要综述了数据挖掘中常用的一些关联规则，分类和聚类的算法。 关键字：数据挖掘；分类；聚类；关联规则
1 引言 1.1 数据挖掘介绍 近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等[1]。 数据挖掘出现于20世纪80年代后期，是数据库研究中一个很有应用价值的新领域，是一门交叉性学科，融合了人工智能、数据库技术、模式识别、机器学习、统计学和数据可视化等多个领域的理论和技术．数据挖掘作为一种技术，它的生命周期正处于沟坎阶段，需要时间和精力去研究、开发和逐步成熟，并最终为人们所接受。20世纪80年代中期，数据仓库之父W．H．In-mon在《建立数据仓库》(Building the Data Warehouse)一书中定义了数据仓库的概念，随后又给出了更为精确的定义：数据仓库是在企业管理和决策中面向主题的、集成的、时变的以及非易失的数据集合。与其他数据库应用不同的是，数据仓库更像一种过程—对分布在企业内部各处的业务数据的整合、加工和分析的过程。传统的数据库管理系统(database management system，DBMS)的主要任务是联机事务处理(on-line transaction processing，OLTP)；而数据仓库则是在数据分析和决策方面提供服务，这种系统被称为联机分析处理(on-line analyticalprocessing，OLAP)．OLAP的概念最早是由关系数据库之父E．F．Codd于1993年提出的。当时，Codd认为OLTP已不能满足终端用户对数据库查询分析的需要，结构化查询语言(structured query language，SQL)对数据库进行的简单查询也不能满足用户分析的需求．用户的决策分析需要对关系数据库进行大量计算才能得到结果，因此Codd提出了多维数据库和多维分析的概念[2]。 数据挖掘(Data Mining)，就是从存放在数据库，数据仓库或其他信息库中的大量的数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。数据挖掘，在人工智能领域，习惯上又称为数据库中知识发现(Knowledge Discovery in Database, KDD)，也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程以下三个阶段组成：(1) 数据准备，(2)数据挖掘，(3) 结果表达和解释。数据挖掘可以与用户或知识库交互。 数据挖掘利用了来自如下一些领域的思想：(1) 来自统计学的抽样、估计和假设检验，(2) 人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化
习题1(第一章数据挖掘基础概念)
习题1（第一章数据挖掘基础概念） 1.什么是数据挖掘？ 解答： 数据挖掘是指从大规模的数据中抽取或挖掘出感兴趣的知识或模式的过程或方法。 2.定义下列数据挖掘功能：特征化、区分、关联和相关分析、分类、预测、聚类和演变分 析。使用你熟悉的现实生活的数据库，给出每种数据挖掘功能的例子。 解答： 特征化是一个目标类数据的一般特性或特性的汇总。例如，学生的特征可被提出，形成所有大学的计算机科学专业一年级学生的轮廓，这些特征包括平均成绩(GPA ：Grade point average) 的信息，还有所修的课程的最大数目。 区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。例如，具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较。 最终的描述可能是学生的一般可比较的轮廓，就像75%具有高GPA 的学生是四年级计算机科学专业的学生而65%具有低GPA 的学生不是。 关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。例如，一个数据挖掘系统可能发现的关联规则为： major(X, “ computing science ” ) ?owns(X, “ personal computer ” ) [support=12%, confidence=98%] 其中，X 是表示学生的变量。这个规则指出正在学习的学生中，12%（支持度）主修计算机科学并且拥有一台个人计算机，这些学生中一个学生拥有一台个人电脑的概率是98%（置信度或确定度）。 分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型（或功能），而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。它们的相似性是他们都是预测的工具：分类被用作预测目标数据的类的标签，而预测典型的应用是预测缺失的数字型数据的值。 聚类根据数据内部的相似性，最小化类之间的相似性的原则进行聚类或分组，形成的每一簇可以被看作一个对象类。聚类也用于分类法组织形式，将观测组织成类分层结构，把类似的事件组织在一起。 数据演变分析是描述和模型化随时间变化的对象的规律或趋势。尽管这可能包括时间相关数据的特征化、区分、关联和相关分析、分类和预测，这种分析的明确特征包括时间序列数据分析、序列或周期模式匹配、和基于相似性的数据分析。 3.给出一个例子，其中数据挖掘对于商务的成功是至关重要的。并说明该商务需要什么数 据挖掘功能？它们能够由数据查询处理或简单的统计分析来实现吗？ 解答： 以一个百货公司为例，它可以应用数据挖掘来帮助其进行目标市场营销。运用数据挖掘功能例如关联规则挖掘，百货公司可以根据销售记录挖掘出强关联规则，来决定哪一类商品是消费者在购买某一类商品的同时，很有可能去购买的，从而促使百货公司进行目标市场营销。数据查询处理主要用于数据或信息检索，没有发现关联规则的方法。 同样地，简单的统计分析没有能力处理像百货公司销售记录这样的大规模数据。 4.数据仓库和数据库有什么不同？有哪些相似之处？ 解答：
大数据时代读后感
《大数据时代》读后感 看完“《大数据时代》——生活、工作与思维的大变革”，颇为感慨，这世界变化真的快！农业化、工业化、信息化时代的相继经历，使得世界天翻地覆。 我们不再热衷于寻找因果关系，而应该寻找事物之间的相关关系。这个命题是我读这本书最大的感触。个人认为也是这本书最核心的思想。首先，书提出一个颠覆我以前认知的命题--“并非原子而是信息才是一切的本源”，将世界看做信息，看做可以理解的数据的海洋，为我们提供了一个从未有过的审视下的视角。它是一种可以渗透到所有生活领域的世界观。这个命题是在书的最后一部分中的某一段中描写的。我之所以把它放在最前面来讲，因为我觉得，这是谈数据化世界的前提，自然也是谈论大数据的前提。书的中间部分有一节讲到数据化和数字化的区别。经过我自己脑子的整理，把数据化世界这个命题列为大数据思维的第二步。写到这里，我不由得反省下，我是不是有领悟到书的精髓所在，就是第一句话。书中另一个吸引我的地方就是，有很多观点的论述，会从哲学的高度论述。虽然，自己肚子没多少墨水，但是读这些描述的时候，就会发现自己会更好的理解作者提出的命题。比如书中有一段文字 当我们说人类是通过因果关系了解世界时，我们指的是我们再理解和解释世界各种现象时使用的两种基本方法：一种是通过快速、虚幻的因果关系，还有一种就是通过缓慢、有条不紊的因果关系。大数据会改变这两种基本方法在我们认识世界时所扮演的角色。 在附上一些事例的时候，用作者提供的“本质”去看待时，很容易理解，确实是这么回事。好了，那么大数据到底改变了我们什么呢，作者给出3点， 大数据的精髓在于我们分析信息时的三个转变，这些转变讲改变我们理解和组建社会的方法。 第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样（样本=总体） 第二个转变就是，研究数据如此之多，以至于我们不再热衷于追求精确度 第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系，而应该寻找事物之间的相关关系。大数据告诉我们“是什么”而不是“为什么”。在大数据时代，我们不必知道现象背后的原因，我们只要让数据自己发声。 正如大家所知道的那样，人类的大脑具备这样的功能，它会把新输入的刺激或信息与“过去的经验或积累的部分知识”相对照，然后进行调整并接受下来。如果眼前新的现实与大脑中储存的固有信息无法协调，便会在无意识中拒绝接受新的现实；或者通过自己一知半解的知识任意推测，使自己认识到的情况偏离实际。这是人的一种本能，目的在于使自己保持冷静。所以作者称之为revolution。 讲了这么多，那么大数据到底给我们带来什么。在这里，我只想谈我感触最深的，其他的有兴趣的可以自己去了解。当然，书中提了很多，最多的就是，XXX公司或者个人利用大数据创造了多大的财富了，抛开这些表面的不说，最让我动心亦或者是害怕的是---预测。大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，
数据挖掘概念与技术-第1章
数据挖掘概念与技术（原书第3版） 第一章课后习题及解答 1.9习题 1.1什么是数据挖掘？在你的回答中，强调以下问题： (a)它是又一种广告宣传吗？ (b)它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗？ (c)我们提出了一种观点，说数据挖掘是数据库技术进化的结果。你认为数据挖掘也是机器学习研究进化的结果吗？你能基于该学科的发展历史提出这一观点吗？针对统计学和模式识别领域，做相同的事。 (d)当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。 答： 狭义的数据挖掘是知识发现过程中的一个步骤，广义的数据挖掘通常用来表示整个知识发现过程，我们一般采用广义的观点：数据挖掘是从大量数据中挖掘有趣模式和知识的过程。数据源包括数据库、数据仓库、WEB、其他信息存储库或动态地流入系统的数据。 a.它不是一种广告宣传，它基于实际的需求，提供从数据中发现知识的工具。 b.数据挖掘不是从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用，它可以看做是信息技术的自然进化，是一些相关学科和应用领域的交汇点。 c. 数据挖掘是数据库技术进化的结果，也是机器学习、统计学和模式识别领域技术进化的结果。 机器学习是一个快速成长的学科，这一领域中的监督学习、无监督学习、半监督学习和主动学习问题，与数据挖掘高度相关，数据挖掘和机器学习有许多相似之处，对于分类和聚类任务，机器学习研究通常关注模型的准确率。除准确率之外，数据挖掘研究非常强调挖掘方法在大型数据集上的有效性和可伸缩性，以及处理复杂数据类型的方法，开发新的非传统的方法。 统计学研究数据的收集、分析、解释和表示。数据挖掘和统计学具有天然联系。（1）统计模型是一组数学函数，它们利用随机变量及其概率分布刻画目标类对象的行为，可以是数据挖掘的结果，也可以是数据挖掘任务的基础。（2）统计学研究开发一些使用数据和统计模型进行预测和预报的工具，描述统计可以帮助理解数据；推理统计学用某种方式对数据建模，可以解释观测中的随机性和确定性，并用来提取关于所考察的过程中或总体的结论。（3）统计假设检验使用实验数据进行统计判决，可以用来验证数据挖掘结果。 模式识别领域？？？ d. 当把数据挖掘看做知识发现过程时，数据挖掘包括以下几个步骤：（1）在数据库中进行数据清理和数据集成；（2）在数据仓库中进行数据选择和数据变换；（3）数据挖掘，使用智能方法提取数据模式；（4）进行模式评估和知识表示 1.2数据库与数据仓库有何不同？它们有哪些相似之处？ 答： 数据库系统，也称数据库管理系统（DBMS），由一组内部相关的数据（称做数据库）和一组管理和存取数据的软件程序组成。关系数据库是表的汇集，可以通过数据库查询访问，是数据挖掘的最常见、最丰富的信息源，因此它是我们数据挖掘研究的一种主要数据形式。 数据仓库是一种用于长期存储数据的仓库，这些数据来自多个数据源，是经过组织的，以便支持管理决策。这些数据在一种统一的模式下存放，并且通常是汇总的。数据仓库提供一些