数据挖掘复习章节知识点整理
数据挖掘技术分析期末总结
数据挖掘技术分析期末总结第一章：引言数据挖掘技术在当前信息爆炸的时代扮演着至关重要的角色。
数据挖掘技术能够从大量、复杂、多源、高维度的数据中发现隐藏的、有用的信息，并利用这些信息做出智能决策。
本文将对数据挖掘技术进行分析和总结，包括数据挖掘的定义、应用、技术和挑战等方面。
第二章：数据挖掘的定义和基本概念本章将对数据挖掘的定义和基本概念进行介绍。
数据挖掘是一门综合性的学科，它将数据库技术、机器学习、统计学和模式识别等多个学科的知识融合于一体。
数据挖掘的基本概念包括数据预处理、特征选择、数据采样、模型选择、模型评估等。
第三章：数据挖掘的技术和方法本章将对数据挖掘的技术和方法进行详细介绍。
数据挖掘的核心技术包括分类、聚类、关联规则挖掘、异常检测和预测分析等。
针对不同的任务和数据类型，我们可以选择不同的数据挖掘方法，如决策树、神经网络、支持向量机等。
第四章：数据挖掘的应用领域本章将对数据挖掘的应用领域进行梳理。
数据挖掘技术可以广泛应用于金融、电子商务、医疗、交通、社交网络等各个领域。
在这些领域中，数据挖掘可以帮助企业发现市场机会、提高生产效率、优化运营管理等。
第五章：数据挖掘的挑战和未来发展趋势本章将对数据挖掘的挑战和未来发展趋势进行分析和展望。
随着科技的不断发展，数据量的不断增加，数据挖掘面临着各种挑战，如数据隐私保护、模型解释性和数据不平衡等。
然而，数据挖掘仍然有很大的发展空间，未来可能出现更多的研究和应用领域。
第六章：结论本文通过对数据挖掘技术的分析和总结，我们可以得出以下结论：数据挖掘技术在当今社会具有重要的应用价值；数据挖掘技术包括了多种技术和方法，可以根据不同的任务和数据类型进行选择；数据挖掘技术还面临着各种挑战，但未来仍然有很大的发展潜力。
总结：数据挖掘技术是当今社会中处理和分析大数据的重要工具。
在数据挖掘技术的帮助下，我们可以从大数据中发现有价值的信息，并据此做出智能决策。
数据挖掘技术的应用领域广泛，可以帮助企业进行市场预测、产品推荐和风险控制等。
数据挖掘概论
1970s
层次数据库 网状数据库
1980s晚期
高级数据库系统 【扩展的关系数据库】 【面向对象数据库】
2000s
流数据管理和挖掘 基于应用的数据挖掘
XML数据库
3
三、什么是数据挖掘
• 数据挖掘 （从数据中发现知识)
• 从大量的数据中挖掘那些令人感兴趣的、有用的、隐含的、先前未知的和可能 有用的模式或知识
• 例：
age (X , "30...39") income (X , &#uter") [sup port 20%,confidence 70%]
9
四、挖掘的数据类型
• 分类和预测
• 根据训练集中的数据属性和类标号，构建模型来分类现有数据，并用来分类新数据， 或预测类型标志未知的对象类
• 区分：提供两个或多个数据集的比较描述
• 例：
Status Graduate Undergraduate
Birth_country Canada Canada
Age_range 25-30 25-30
Gpa Good Good
Count 90 210
8
四、挖掘的数据类型
• 关联规则挖掘
从事务数据库、关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、 频繁出现的模式、关联和相关性
• 数据挖掘的替换词
• 数据库中的知识挖掘（KDD） • 知识提炼 • 数据/模式分析 • 数据考古 • 数据捕捞
4
三、什么是数据挖掘
• 数据库中的知识挖掘（KDD）
模式评估
数据挖掘
任务相关数据
数据仓库
选择
数据清理 数据集成
数据库
5
数据挖掘复习知识点整理
数据挖掘：是从大量数据中发现有趣(非平庸的、隐含的、先前未知、潜在实用)模式，这些数据可以存放在数据库，数据仓库或者其他信息存储中。
挖掘流程：(1)学习应用域(2)目标数据创建集(3)数据清洗和预处理(4)数据规约和转换(5)选择数据挖掘函数(总结、分类、回归、关联、分类) (6)选择挖掘算法(7)找寻兴趣度模式(8)模式评估和知识展示(9)使用挖掘的知识概念/类描述：一种数据泛化形式，用汇总的、简洁的和精确的方法描述各个类和概念，通过 (1) 数据特征化：目标类数据的普通特性或者特征的汇总； (2) 数据区分：将目标类数据的普通特性与一个或者多个可比较类进行比较； (3)数据特征化和比较来得到。
关联分析：发现关联规则，这些规则展示属性-值频繁地在给定数据集中一起浮现的条件，通常要满足最小支持度阈值和最小置信度阈值。
分类：找出能够描述和区分数据类或者概念的模型，以便能够使用模型预测类标号未知的对象类，导出的模型是基于训练集的分析。
导出模型的算法：决策树、神经网络、贝叶斯、(遗传、粗糙集、含糊集)。
预测：建立连续值函数模型，预测空缺的或者不知道的数值数据集。
孤立点：与数据的普通行为或者模型不一致的数据对象。
聚类：分析数据对象，而不考虑已知的类标记。
训练数据中不提供类标记，对象根据最大化类内的相似性和最小化类间的原则进行聚类或者分组，从而产生类标号。
第二章数据仓库数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。
从一个或者多个数据源采集信息，存放在一个一致的模式下，并且通常驻留在单个站点。
数据仓库通过数据清理、变换、继承、装入和定期刷新过程来构造。
面向主题：排除无用数据，提供特定主题的简明视图。
集成的：多个异构数据源。
时变的：从历史角度提供信息，隐含时间信息。
非易失的：和操作数据的分离，只提供初始装入和访问。
联机事务处理OLTP：主要任务是执行联机事务和查询处理。
联系分析处理OLAP：数据仓库系统在数据分析和决策方面为用户或者‘知识工人’提供服务。
知识点归纳 数据挖掘中的聚类分析与分类算法
知识点归纳数据挖掘中的聚类分析与分类算法数据挖掘中的聚类分析与分类算法数据挖掘是指从大量数据中自动发现有用的模式、关系或规律的过程。
在数据挖掘过程中，聚类分析和分类算法是两个常用且重要的技术。
本文将对这两个知识点进行归纳总结。
一、聚类分析聚类分析是将一组无标签的数据对象进行分组或聚类的数据挖掘技术。
其目标是通过对象之间的相似性将它们划分为若干个簇，使得同一簇内的对象相似度高，不同簇之间的相似度低。
聚类分析广泛应用于市场分割、社交网络分析、图像处理等领域。
常用的聚类算法有以下几种：1. K-means算法：K-means是一种基于距离度量的聚类算法。
它通过逐步迭代，将数据集分为K个簇，使得每个数据对象与本簇内的其他对象的相似度最高。
2. 层次聚类算法：层次聚类算法是一种通过计算不同类别之间的相似性，并逐步合并相似度高的类别的方式进行数据聚类的方法。
Hierarchical Agglomerative Clustering（HAC）是层次聚类的一种常见算法。
3. 密度聚类算法：密度聚类算法是一种通过计算对象的密度来确定簇的方法，常见的算法有DBSCAN和OPTICS算法。
这类算法可以有效地发现具有不同密度分布的聚类。
二、分类算法分类算法是将带有标签的数据集按照类别或标签进行划分的数据挖掘技术。
通过学习已有数据集的特征和类别标签，分类算法能够对新的未标记数据进行分类预测。
分类算法广泛应用于垃圾邮件过滤、文本分类、风险评估等领域。
常用的分类算法有以下几种：1. 决策树算法：决策树算法是一种基于树形结构的分类算法。
它通过对数据集进行递归分割，使得每个子节点具有最佳的纯度或信息增益，从而实现对数据的分类。
2. 朴素贝叶斯算法：朴素贝叶斯算法是一种基于条件概率的分类算法。
它假设特征之间相互独立，并通过计算条件概率来进行分类预测。
3. 支持向量机算法：支持向量机算法是一种通过寻找最优分割超平面将数据划分为不同类别的算法。
数据挖掘知识点归纳
知识点一数据仓库1.数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。
2.数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。
3.数据仓库围绕主题组织4.数据仓库基于历史数据提供消息，是汇总的。
5.数据仓库用称作数据立方体的多维数据结构建模，每一个维对应于模式中的一个或者一组属性，每一个单元存放某种聚集的度量值6.数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据7.提供提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理，允许在不同的抽象层提供数据，这种操作适合不同的用户角度8.OLAP例子包括下钻和上卷，允许用户在不同的汇总级别上观察数据9.多维数据挖掘又叫做探索式多维数据挖掘OLAP风格在多维空间进行数据挖掘，允许在各种粒度进行多维组合探查，因此更有可能代表知识的有趣模式。
知识点二可以挖掘什么数据1.大量的数据挖掘功能，包括特征化和区分、频繁模式、关联和相关性分析挖掘、分类和回归、聚类分析、离群点分析2.数据挖掘功能用于指定数据挖掘任务发现的模式，分为描述性和预测性3.描述性挖掘任务刻画目标数据中数据的一般性质4.预测性挖掘任务在当前数据上进行归纳，以便做出预测5.数据可以与类或概念相关联6.用汇总、简洁、精确的表达描述类和概念，称为类/概念描述7.描述的方法有数据特征化（针对目标类）、数据区分（针对对比类）、数据特征化和区分8.数据特征化用来查询用户指定的数据，上卷操作用来执行用户控制的、沿着指定维的数据汇总。
面向属性的归纳技术可以用来进行数据的泛化和特征化，而不必与用户交互。
形式有饼图、条图、曲线、多维数据立方体和包括交叉表在内的多维表。
结果描述可以用广义关系或者规则（也叫特征规则）提供。
9.用规则表示的区分描述叫做区分规则。
10.数据频繁出现的模式叫做频繁模式，类型包括频繁项集、频繁子项集（又叫频繁序列）、频繁子结构。
知识点归纳 数据挖掘中的关联规则挖掘与异常检测
知识点归纳数据挖掘中的关联规则挖掘与异常检测知识点归纳数据挖掘中的关联规则挖掘与异常检测数据挖掘是一门涉及大数据分析和处理的学科，旨在从大量的数据中发现隐藏的模式、关联和趋势。
关联规则挖掘和异常检测是数据挖掘中的两个重要任务。
本文将对这两个知识点进行归纳和讨论。
一、关联规则挖掘关联规则挖掘是指在大规模数据集中寻找项集之间的相关性。
在关联规则挖掘中，项集是一个或多个项目的集合。
关联规则则是指在一个项集中出现的某个项目，能够关联到另一个项集中的其他项目。
关联规则挖掘的典型应用包括超市购物篮分析、推荐系统和生物信息学等。
它不仅可以帮助企业了解产品之间的关联性，还可以为用户提供个性化的推荐服务。
关联规则挖掘的常用算法有Apriori算法、FP-Growth算法等。
Apriori算法是一种基于候选生成和剪枝的经典算法。
它通过迭代发现频繁项集，然后生成关联规则。
FP-Growth算法是一种基于频繁模式树的算法，它通过构建一棵FP树来加速频繁项集的发现过程。
二、异常检测异常检测是指在数据集中寻找与其他样本不同的异常样本。
在异常检测中，异常样本通常被认为是不符合预期或规范的数据点，它们具有与其他样本不同的统计特性。
异常检测在许多领域中都有广泛的应用，如欺诈检测、网络入侵检测和工业生产中的故障检测等。
通过及时发现和处理异常，可以提高系统的安全性和可靠性。
异常检测的常用算法有基于统计方法的Z-Score算法、基于距离的KNN算法和基于聚类的LOF算法等。
Z-Score算法通过计算数据点与其均值之间的差异来判断是否为异常值。
KNN算法通过计算数据点与其最近邻之间的距离来确定是否为异常值。
LOF算法则通过计算数据点与其周围邻域之间的密度差异来判断是否为异常值。
三、关联规则挖掘与异常检测的联系尽管关联规则挖掘和异常检测是两个独立的任务，但它们在某些应用场景中可以相互协作。
首先，在关联规则挖掘中，异常样本可能作为离群项出现。
数据挖掘与机器学习复习资料
数据挖掘与机器学习复习资料数据挖掘和机器学习是当今信息技术领域中极为重要的两个分支，它们在处理和分析大量数据、发现隐藏模式、做出预测和决策等方面发挥着关键作用。
对于学习者来说，掌握这两个领域的知识至关重要。
以下是为大家整理的一份关于数据挖掘与机器学习的复习资料。
一、数据挖掘概述数据挖掘，简单来说，就是从大量的数据中提取出有用的信息和知识的过程。
它不仅仅是数据的收集和存储，更重要的是通过一系列的技术和方法，对数据进行深入分析和挖掘，以发现潜在的规律和趋势。
数据挖掘的主要任务包括数据分类、聚类、关联规则挖掘、异常检测等。
在数据分类中，我们根据已知的类别标签，将新的数据划分到相应的类别中。
聚类则是将数据按照相似性进行分组，而无需事先知道类别信息。
关联规则挖掘用于发现数据中不同属性之间的关联关系，例如购买了商品 A 的顾客往往也会购买商品 B。
异常检测则是识别出与大多数数据不同的异常值。
数据挖掘的过程通常包括数据准备、数据探索、模型建立、模型评估和模型部署等阶段。
在数据准备阶段，需要对原始数据进行清理、转换和集成，以确保数据的质量和一致性。
数据探索阶段则通过可视化和统计分析等方法，对数据的特征和分布有一个初步的了解。
模型建立阶段选择合适的算法和模型，并使用训练数据进行训练。
模型评估通过使用测试数据来评估模型的性能，如准确率、召回率、F1 值等。
最后，将性能良好的模型部署到实际应用中。
二、机器学习基础机器学习是让计算机通过数据自动学习和改进的一种方法。
它可以分为监督学习、无监督学习和强化学习三大类。
监督学习是在有标记的数据集上进行学习，常见的算法包括线性回归、逻辑回归、决策树、支持向量机等。
线性回归用于预测连续值，逻辑回归用于分类问题，决策树可以生成易于理解的规则，支持向量机在处理高维数据和非线性问题上有较好的表现。
无监督学习是在无标记的数据集中寻找模式和结构，例如聚类算法（如 KMeans 聚类、层次聚类）和主成分分析（PCA）等。
数据挖掘 复习题纲
数据仓库与数据挖掘复习题1、什么是数据仓库？数据仓库的特点有哪些？2、简述数据仓库的四种体系结构的异同点及其适用性。
3、什么是数据仓库的三层结构？什么是数据ETL过程？星型模式的定义与特征是什么？4、什么是信息包图法？请画出Adventure Works Cycles公司销售情况的信息包图法。
（1）获取各个业务部门对业务数据的多维特性分析结果，确定影响销售额的维度，包括时间、区域、产品和客户等维度。
（2）对每个维度进行分析，确定维度与类别之间的传递和映射关系，如在Adventure Works业务数据库中，时间维有年度，季度，月和日等级别，而区域分为国家、省州、城市和具体的销售点。
（3）确定用户需要的度量指标体系，这里以销售情况作为事实依据确定的销售相关指标包括实际销售额、计划销售额和计划完成率等。
5、设定,使用Aprori算法完成下表所示的数据集关联规则的挖掘。
交易号TID 商品ItemsT1 A B CT2 A CT3 A DT4 B E F6、对于下表所示的数据集，利用决策树ID3算法构造决策树。
Age Salary Class<=40 High C1<=40 High C1<=40 Low C241~50 High C1<=40 Low C2>50 Low C1>50 Low C1>50 High C241~50 High C17、给定训练集为,其中，每个训练样本是一个二维特征微量；为类标号，即训练集中的数据样本包含两个类别。
现有：+1+1+1-1-1-1-1分别用最近邻分类方法、k—近邻分类方法（k=3）对x8进行分类。
8样本序号描述属性1 描述属性2x1 6 4X2 7 5X3 6 3X4 4 6X5 3 89、计算有酒精味、头疼、X射线检查呈阳性时，患脑瘤的概率，也就是计算P(BT|SA,HA,PX)。
10对象x 属性1 属性2 属性31 1 1 32 1 1 33 2 1 14 3 2 2P(PT) P(BT)True 0.2 0.001False 0.8 0.999P(HO|PT) PT=T PT=FTrue 0.7 0False 0.3 1P(SA|HO) HO=T HO=FTrue 0.8 0.1False 0.2 0.9 P(PX|BT) BT=T BT=FTrue 0.98 0.01False 0.02 0.99P(HA|HO,BT) HO=T HO=FBT=T BT=F BT=T BT=FTrue 0.99 0.7 0.9 0.02False 0.01 0.3 0.1 0.985 3 2 16 2 1 2令，求：（1）由分别形成的等价划分。
数据仓库与数据挖掘复习大全
数据仓库与数据挖掘复习⼤全数据仓库与数据挖掘复习⼤全湖北⽂理学院湖北襄阳王茂林1.某超市研究销售纪录数据后发现，买啤酒的⼈很⼤概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)A. 关联规则发现B. 聚类C. 分类D. ⾃然语⾔处理2. 以下两种描述分别对应哪两种对分类算法的评价标准？(A)(a)警察抓⼩偷，描述警察抓的⼈中有多少个是⼩偷的标准。
(b)描述有多少⽐例的⼩偷给警察抓了的标准。
A. Precision, RecallB. Recall, PrecisionC. Precision, ROCD. Recall, ROC分类是⼀种重要的数据挖掘算法。
分类的⽬的是构造⼀个分类函数或分类模型（即分类器），通过分类器将数据对象映射到某⼀个给定的类别中。
分类器的主要评价指标有准确率(Precision)、召回率(Recall)、F b-score、ROC、AOC等。
准确率(Precision) 和召回率(Recall)是信息检索领域两个最基本的指标。
准确率也称为查准率，召回率也称为查全率。
它们的定义如下：Precision=系统检索到的相关⽂件数量/系统检索到的⽂件总数量Recall=系统检索到的相关⽂件数量/系统所有相关⽂件数量F b-score是准确率和召回率的调和平均：F b=[(1+b2)*P*R]/（b2*P+R），⽐较常⽤的是F1。
在信息检索中，准确率和召回率是互相影响的，虽然两者都⾼是⼀种期望的理想情况，然⽽实际中常常是准确率⾼、召回率就低，或者召回率低、但准确率⾼。
所以在实际中常常需要根据具体情况做出取舍，例如对⼀般搜索的情况是在保证召回率的情况下提升准确率，⽽如果是疾病监测、反垃圾邮件等，则是在保证准确率的条件下，提升召回率。
但有时候，需要兼顾两者，那么就可以⽤F-score指标。
在信息检索中，准确率和召回率是互相影响的，虽然两者都⾼是⼀种期望的理想情况，然⽽实际中常常是准确率⾼、召回率就低，或者召回率低、但准确率⾼。
数据挖掘理论基础
• 货物销售之间的相互联系和相关性，以及基于这种联系上的预测
• 数据从那里来?
5
三、数据挖掘的应用
1、客户分析与管理 • 顾客分析
• 哪类顾客购买那种商品 (聚类分析或分类预测)
• 客户需求分析
• 确定适合不同顾客的最佳商品 • 预测何种因素能够吸引新顾客
• 提供概要信息
• 多维度的综合报告 • 统计概要信息 (数据的集中趋势和变化)
6
三、数据挖掘的应用
2、公司分析和风险管理
• 财务计划
• 现金流转分析和预测 • 交叉区域分析和时间序列分析（财务资金比率，趋势分析等等）
• 资源计划
• 总结和比较资源和花费
• 竞争
• 对竞争者和市场趋势的监控 • 将顾客按等级分组和基于等级的定价过程 • 将定价策略应用于竞争更激烈的市场中
7
三、数据挖掘的应用
3、欺诈行为检测和异常模式的发现
• 对欺骗行为进行聚类和建模，并进行孤立点分析 • 应用：卫生保健、信用卡服务、电信等
• 医疗保险
• 职业病人、 医生以及相关数据分析 • 不必要的或相关的测试
• 洗钱: 发现可疑的货币交易行为 • 电信: 电话呼叫欺骗行为
• 电话呼叫模型: 呼叫目的地，持续时间，日或周呼叫次数. 分析模型发现与期待标准的偏差
第一章 数据挖掘概论
第二节 理论基础
1
一、数据挖掘中用到的技术
• 数据挖掘：多个学科的融合
数据库系统
统计学
机器学习
数据挖掘
可视化
算法
其他学科
2
一、数据挖掘中用到的技术
• 统计学：统计模型、统计描述、假设检验 • 机器学习：监督学习、无监督学习、半监督学习 • 数据库：数据库系统、数据仓库、OLAP • 信息检索：语言模型、主题模型、自然语言处理
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据挖掘：是从大量数据中发现有趣（非平凡的、隐含的、先前未知、潜在有用）模式，这些数据可以存放在数据库，数据仓库或其他信息存储中。
挖掘流程：1.学习应用域2.目标数据创建集3.数据清洗和预处理4.数据规约和转换5.选择数据挖掘函数（总结、分类、回归、关联、分类）6.选择挖掘算法7.找寻兴趣度模式8.模式评估和知识展示9.使用挖掘的知识概念/类描述：一种数据泛化形式，用汇总的、简洁的和精确的方法描述各个类和概念，通过（1）数据特征化：目标类数据的一般特性或特征的汇总；（2）数据区分：将目标类数据的一般特性与一个或多个可比较类进行比较；（3）数据特征化和比较来得到。
关联分析：发现关联规则，这些规则展示属性-值频繁地在给定数据集中一起出现的条件，通常要满足最小支持度阈值和最小置信度阈值。
分类：找出能够描述和区分数据类或概念的模型，以便能够使用模型预测类标号未知的对象类，导出的模型是基于训练集的分析。
导出模型的算法：决策树、神经网络、贝叶斯、（遗传、粗糙集、模糊集）。
预测：建立连续值函数模型，预测空缺的或不知道的数值数据集。
孤立点：与数据的一般行为或模型不一致的数据对象。
聚类：分析数据对象，而不考虑已知的类标记。
训练数据中不提供类标记，对象根据最大化类内的相似性和最小化类间的原则进行聚类或分组，从而产生类标号。
第二章数据仓库数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。
从一个或多个数据源收集信息，存放在一个一致的模式下，并且通常驻留在单个站点。
数据仓库通过数据清理、变换、继承、装入和定期刷新过程来构造。
面向主题：排除无用数据，提供特定主题的简明视图。
集成的：多个异构数据源。
时变的：从历史角度提供信息，隐含时间信息。
非易失的：和操作数据的分离，只提供初始装入和访问。
联机事务处理OLTP：主要任务是执行联机事务和查询处理。
联系分析处理OLAP：数据仓库系统在数据分析和决策方面为用户或‘知识工人’提供服务。
这种系统可以用不同的格式和组织提供数据。
OLAP是一种分析技术，具有汇总、合并和聚集功能，以及从不同的角度观察信息的能力。
多维数据模型:多维数据模型将数据看作数据立方体，允许从多个维度对数据建模和观察。
包含维表和事实表。
最流行的数据仓库数据模型是多维数据模型，这种模型可以是星形模式（事实表在中间，连接到多个维表）、雪花模式（星型的变种，某些维表规范化，分解到附加维表，以减少冗余）、事实星座模式（多个事实表共享维表）。
数据立方体：允许从多维对数据建模和观察。
它由维和事实定义。
维：关于一个组织想要保存记录的透视图和实体，每个维都有一个表与之相关联，成为维表。
事实表：包括事实的名称和度量，以及每个相关维表的码。
方体Cuboid：每个数据立方体。
基本方体Base Cuboid：存放最底层汇总。
顶点方体Apex Cuboid：最高层汇总，all。
数据立方体D a ta Cube：给定维的集合，可以对维的每个可能子集产生一个方体。
结果成为方体的格。
多维数据立方体：提供数据的多维视图，并允许预计算和快速访问汇总数据。
度量：数值函数，通过对给定点的各维-值对聚集数据，计算该点的度量值。
概念分层：映射序列，将底层概念映射到更一般的较高层概念。
OLAP操作:上卷：上卷操作通过一个维的概念分层向上攀升或者通过维规约，在数据立方体上进行聚集。
下钻：下钻是上卷的逆操作，它由不太详细的数据到更详细的数据。
切片和切块：切片对一个维进行选择。
切块对两个以上维进行选择，定义子立方体。
转轴：可视化操作，转动视角。
钻过：跨越多个事实表。
钻透：钻到后端关系表。
数据仓库模型的不同类型：1、企业仓库：收集了关于跨部门的整个组织主题的所有信息，跨越整个组织，因此是企业范围的。
2、数据集市：是企业仓库的一个部门子集，它针对选定的主题，对于特定的用户是有用的，因此是部门范围的，其数据通常是汇总的。
3、虚拟仓库：虚拟仓库是操作数据库上视图的集合，易于建立，但需要操作数据库服务器具有剩余能力。
数据仓库的三层结构：1、仓库数据服务器：使用后端工具（抽取、清晰、转换、装载、刷新）和实用程序由操作数据库和其他外部数据源提取数据，进行数据清理和变换并放入仓库底层2、OLAP服务器：直接实现对多维数据的操作,直接为商务用户提供来自数据仓库或数据集市的多维数据。
ROLAP:多维数据操作映射到标准关系操作。
MOLAP：多维数据视图映射到数组中.HOLAP:结合，历史数据ROLAP,频繁访问数据放到MOLAP.3、前端客户层：包括查询和报表工具、分析工具或数据挖掘工具。
数据仓库的设计：1、分析建立企业模型并映射到数据仓库概念模型；2、逻辑模型的设计3、物理模型的设计OLAP建模：维表设计（维的变化，维表的共享，层次信息和分类信息的位置）、事实表设计（事实表的特性，通用数据和专用数据事实表） 逻辑模型设计：1、 系统数据量估算；2、 数据粒度的选择；3、 数据的分割（到各自的物理单元单独处理）4、 表的合理划分（字段的更新频率和访问频率不一样——稳定性）5、 删除纯操作数据（“收款人”），增加导出字段（“销售总量”）元数据：描述数据的数据，定义数据仓库对象的数据。
包括数据仓库的结构、操作元数据（数据血统、流通，监控信息）、用于汇总的算法、从操作环境到数据仓库的映射；关于系统性能的数据、商务元数据。
部分物化：选择性预计算各种方体子集或子立方体。
冰山立方体：是一个数据立方体，只存放聚集值大于某个最小支持度阈值的立方体单元。
数据立方体计算中多路数组聚集，多路计算BUC ：bottom-up computation自底向上构造，一种计算稀疏冰山立方体的算法。
数据立方体允许以多维数据建模和观察，它由维和事实定义。
维是关于一个组织想要记录的透视或实体，事实是数值度量的。
物理模型的设计：1.确定数据的存储结构（并行RAID ）2.索引策略（位图索引、连接索引）3.数据存储策略与性能优化（多路聚集优化、表的归并、分割表的存放、按列存储、存储分配优化）4.数据装载接口5.并行优化设计位图索引：在给定属性的位图索引中，属性的每一个值v 都有一个位向量，长度为记录的总数，如果数据表中给定行上该属性的值为v, 则在位图索引的对应行上标注该值的位为1，其余为0.，不适用于基数很大的属性。
连接索引：传统的索引将给定列上的值映射到具有该值的行的列表上，连接索引登记来自关系数据库的两个关系的可连接行，对于维护来自可连接的关系的外码和与之匹配的主码的联系特别有用（事实表——维表）。
N 维，且每个维有Li 概念封层，可得到的立方体有多路数组聚集：是数据立方体的高效计算方式。
使用多维数组作为基本数据结构，自底向上的、共享地计算完全数据立方体。
使用数组直接寻址的典型MOLAP 。
方法：最大维在形成单块的平面上。
最小为在形成单面的平面上，每个平面必须被排序，并按大小递增的顺序被计算。
数据预处理数据预处理：不完整的、含噪音的、不一致的1、数据清洗（缺失值（缺少属性值或某些感兴趣的属性，或仅包含聚集数据）、噪声（错误或存在偏离期望的离群值）、非一致）、2、数据集成（模式集成（识别实体）、发现冗余（相关分析检测）、数据值冲突检测和处理（不同数据源属性值不同））、)11(+∏==ni i L T3、数据变换（平滑（去掉噪声）、聚集（数据汇总）、泛化（概念分层，高层替换低层）、规范化（按比例缩放）、属性构造）4、数据规约（数据立方体聚集、维度规约(属性子集选择)、数值规约、离散化和概念分层产生）、5、数据离散化（数值数据：分箱、直方图、聚类、基于熵的离散化、基于直观划分离散化3-4-5规则（区间的最高有效位的取值个数）；分类数据：用户或专家在模式级显示说明属性偏序、通过显示数据分组说明分层结构的一部分、说明属性集但不说明偏序（层次高，属性值个数越少）、只说明部分属性集（嵌入数据语义，是语义相关的属性集捆绑在一起））。
噪声：被测量的变量的随机误差或方差。
噪音数据处理：分箱（按箱平均值平滑、按箱中值平滑、按箱边界平滑）、回归、聚类。
规范化：最小-最大规范化；Z-score规范化；小数定标规范化数据规约技术：得到数据集的规约显示，小得多，但保持原数据的完整性。
挖掘更有效。
属性子集选择：检测并删除不相关、弱相关或冗余的属性和维维规约：使用编码机制减小数据集的规模,如压缩。
数值规约：用替代的、较小的数据表示替换或估计数据，如参数模型or非参方法（聚类、抽样、直方图（Equi-depth、equi-width、v-optimal（最小方差）、maxdiff（考虑每对相邻的之间的差，桶的边界具有<桶数-1 >的最大对））。
概念分层：对一个属性递归地进行离散化，产生属性值的分层或多分辨率划分。
属性的原始数据用更高层或离散化的值替换。
离散化：用少数区间标记替换连续属性的数值，从而减少和简化原来的数据。
特征化和区分：描述性数据挖掘：以简洁概要的方式描述概念或数据集，并提供数据的有趣的一般性质。
预测性数据挖掘：分析数据，建立一个或一组连续值函数模型，预测不知道的数值数据值。
概念描述包括特征化和区分。
特征化：提供给定数据汇集的简洁汇总。
区分：提供两个或多个数据集的比较描述。
OLAP VS 概念描述：处理类型、自动化方面比较各自优缺点。
Concept description:◆can handle complex data types of the attributes and their aggregations◆ a more automated processOLAP:◆restricted to a small number of dimension and measure types◆user-controlled process数据泛化：将数据库中的大量任务相关数据从低概念层提升到更高概念层的过程。
数据泛化途径：1、数据立方体（OLAP途径）2、面向属性的归纳面向属性的归纳：1、使用数据库查询收集任务相关的数据；2、考察相关任务集中的各个属性并进行泛化：通过属性删除（两种情况）或者属性泛化3、通过合并相等的广义元组（每个广义元组代表一个规则析取）并累计对应的计数值进行聚集面向属性归纳方法产生的泛化描述表现形式：广义关系（表）、交叉表、图、量化特征规则。
属性泛化控制：属性泛化阈值控制（对所有的属性设置一个泛化阈值，或者对每个属性设置一个阈值。
如果属性的不同值个数大于属性泛化阈值，则应当进行进一步的属性删除或属性泛化）广义关系阈值控制：为广义关系设置一个阈值。
如果广义关系中不同元组的个数超过该阈值，则当进一步泛化；否则，不再进一步泛化 。