数据挖掘笔记
机器学习与数据挖掘读书笔记
《机器学习与数据挖掘》读书笔记一、内容概要引言：简要介绍机器学习和数据挖掘的背景、应用领域以及它们的重要性。
概述机器学习和数据挖掘的基本概念及其在现代社会的广泛应用。
机器学习概述：阐述机器学习的基本原理、分类及关键要素。
包括监督学习、无监督学习、半监督学习、强化学习等不同类型的机器学习方法的介绍。
数据挖掘技术：详细介绍数据挖掘的基本概念、过程和方法。
包括数据预处理、特征选择、聚类分析、关联规则挖掘、分类与预测等内容。
常用算法解析：介绍机器学习和数据挖掘中常用的算法，包括决策树、神经网络、支持向量机（SVM）、随机森林等，并对各个算法的原理和应用进行解析。
实践案例分析：通过具体案例，展示机器学习和数据挖掘技术在各个领域的应用，包括金融、医疗、电商等行业的实际应用案例。
技术挑战与前沿趋势：分析机器学习和数据挖掘领域面临的技术挑战，如数据质量问题、模型泛化能力、计算资源限制等，并探讨当前领域的前沿趋势和未来发展方向。
应用前景展望：探讨机器学习和数据挖掘技术在未来的发展趋势，以及它们在不同领域的应用前景，如人工智能、物联网、自动驾驶等领域。
通过阅读本书，我对机器学习和数据挖掘有了更深入的了解，掌握了相关理论知识和技能，对实际应用有了更清晰的认知。
也认识到了该领域的挑战和发展趋势，对未来的学习和工作具有重要的指导意义。
1. 本书背景及简介在数字化时代，数据成为了一种宝贵的资源，如何有效地挖掘和利用这些数据，成为了各行各业所面临的共同挑战。
《机器学习与数据挖掘》一书正是在这样的背景下应运而生。
本书集结了机器学习与数据挖掘领域的最新理论与实践成果，旨在帮助读者深入理解和掌握这两个领域的核心技术与原理。
本书首先对机器学习和数据挖掘的起源、发展及现状进行了全面的介绍。
随着信息技术的飞速发展，尤其是大数据时代的到来，传统的数据处理和分析方法已经无法满足复杂多变的数据环境需求。
而机器学习和数据挖掘技术的崛起，为从海量数据中提取有价值信息、预测未来趋势、实现智能化决策提供了强有力的支持。
2018-数据挖掘的读书笔记-word范文模板 (2页)
2018-数据挖掘的读书笔记-word范文模板本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！== 本文为word格式，下载后可方便编辑和修改！ ==数据挖掘的读书笔记导语：数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。
目前哟普与大数据时代的到来，数据挖掘在很多高等院校已经成为一门独立的学科。
下面是数据挖掘的相关读书笔记。
欢迎大家阅读。
一、数据挖掘概念（即什么是数据挖掘）我们生活在数据时代，各行各业每天都产生巨大的数据。
数据的爆炸式增长、广泛可用和巨大数量使得我们的时代成为真正的数据时代。
急需功能强大和通用的工具，以便从海量数据中发现有价值的信息，把这些数据转换成有组织的、可利用的知识。
这种需求导致了数据挖掘的诞生。
数据挖掘实际上是从数据中挖掘知识，由以下步骤的迭代组成：(1)数据清理（消除噪声和删除不一致数据）(2)数据集成（多种数据源可以组合在一起）(3)数据选择（从数据库中提取与分析任务相关的数据）(4)数据变换（通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式）(5)数据挖掘（基本步骤，使用智能方法提取数据模式）(6)模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式）(7)知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）关系数据库是数据挖掘最常见、最丰富的信息源，因此它是我们数据挖掘研究研究的一种主要数据形式。
二、数据挖掘技术（即怎样进行数据挖掘）1、可以挖掘什么类型的模式特征化与区分、频繁模式、关联和相关性挖掘，分类与回归，聚类分析，离群点分析。
数据挖掘可以被用来进行市场分析和管理、风险分析和管理、缺陷分析和管理等。
【最新文档】数据挖掘笔记-word范文 (11页)
本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！== 本文为word格式，下载后可方便编辑和修改！ ==数据挖掘笔记篇一：数据挖掘概念与技术读书笔记1、可以挖掘的数据类型：数据库数据，数据仓库（是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上，通常数据仓库用称作数据立方体的多维数据结构建模，数据立方体有下钻（往下细分）和上卷（继续记性总和归纳）操作），事务数据，时间先关或序列数据（如历史记录，股票交易数据等），数据流、空间数据、工程设计数据，超文本和多媒体数据2、可以挖掘什么类型的模型数据挖掘功能包括特征化与区分、频繁模式、关联和相关性挖掘分类与回归、聚类分析、离群点分析。
数据挖掘功能用于指定数据挖掘任务发现的模式。
一般而言，这些任务可以分为两类：描述性和预测性。
描述性挖掘任务刻画目标数据中数据的一般性质。
预测性挖掘任务在当前数据上进行归纳，以便做出预测。
特征化与区分：数据特征化（如查询某类产品的特征）、数据区分（将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较，如把具有不同特性的产品进行对比区分）。
挖掘频繁模式、关联和相关性：频繁模式是在数据中频繁出现的模式（频繁项集、频繁子序列和频繁子结构）用于预测分析的分类与回归：分类是找出描述和区分数据类或概念的模型，以便能够使用模型预测类标号未知的对象的类标号。
到处模型是基于对训练数据集的分析。
该模型用来预测类标号未知的对象类标号。
表现形式有：分类规则（IF-THEN）、决策树、数学公式和神经网络。
分类预测类别标号，而回归简历连续值函数模型，而不是离散的类标号。
相关分析可能需要在分类和回归之前进行，他试图识别与分类和回归过程显著相关的属性。
聚类分析：聚类分析数据对象，而不考虑类标号。
离群分析：数据集中可能包含一些数据对象，他么对数据的一般行为或模型不一致。
这些数据时利群点。
cda考试二级笔记
cda考试二级笔记CDA（Certified Data Analyst）考试是中国数据分析师协会认证的数据分析师考试。
下面是CDA考试二级的笔记，供您参考：一、数据挖掘与机器学习基础1. 数据挖掘定义：从大量数据中提取有价值的信息的过程。
2. 机器学习定义：利用计算机算法从数据中自动学习并改进模型的过程。
3. 数据挖掘与机器学习的关系：数据挖掘是应用，机器学习是方法。
4. 常用数据挖掘算法：决策树、聚类、关联规则、分类、回归等。
5. 常用机器学习算法：线性回归、逻辑回归、支持向量机、神经网络等。
二、数据预处理1. 数据清洗：处理缺失值、异常值、重复值等。
2. 数据集成：将多个数据源的数据整合到一起。
3. 数据归约：降低数据集的大小，如主成分分析、特征选择等。
4. 数据变换：将数据转换成适合分析的格式或形式，如特征编码、数据标准化等。
三、数据分析与可视化1. 描述性统计：均值、中位数、方差等统计量。
2. 探索性分析：发现数据的分布、趋势和异常。
3. 可视化工具：Tableau、Excel、PowerBI等。
4. 常用图表类型：柱状图、折线图、饼图、散点图等。
四、预测与决策分析1. 时间序列预测：ARIMA模型、指数平滑等。
2. 回归分析：线性回归、逻辑回归等。
3. 分类分析：决策树、支持向量机等。
4. 决策树分析：构建决策树模型，进行分类或预测。
5. 关联规则分析：发现数据之间的关联规则，如购物篮分析。
五、高级主题1. 大数据处理技术：Hadoop、Spark等。
2. 数据挖掘中的隐私保护技术：差分隐私、k-匿名等。
3. 数据可视化中的高级技术：热力图、气泡图等。
4. 机器学习中的集成学习、深度学习等技术。
SAS编程数据挖掘学习与帮助文档-3
《SAS编程与数据挖掘商业案例》学习笔记之九(2013-08-07 07:41:14)转载▼标签：分类：SAS编程sasinfile语句数据挖掘数据分析sas编程继续之前的读书笔记，废话少说，直奔主题。
本文重点在infile语句。
十一：infile语句Dsd 规定一个数据集可以包含分隔符，但是要用引号括起来，两个连续分隔符之间的数作为缺失值处理，默认分隔符为逗号Firstobs= 规定从该记录行开始读入Obs=规定要读入的记录数Length= virable 把当前行的数据长度赋值给临时变量variable Missover 阻止input语句从下一数据行读入数据，为赋值的变量设置为缺失eg：filename file 'f:\data_model\book_data\chapt3\utf.txt';data unicode;infile file encoding="utf-8";input name $ weight;run;导入指定编码格式的文件eg：data num;infile datalines dsd dlm='';input x y z;datalines;2 34 5 67 9;run;对于有缺失值时，利用dsd和dlm一起可以解决eg：data weather;infile datalines missover;input temp1-temp5;datalines;97.9 98.1 98.398.6 99.2 99.1 98.5 97.596.2 97.3 98.3 97.6 96.5;run;第一行后面两个数据缺失，此时用missover强制数据指针必须读完每一行对应的所有输入变量的值《SAS编程与数据挖掘商业案例》学习笔记之十(2013-08-07 12:57:22)转载▼分类：SAS编程标签：sas数据分析retain语句keep语句array语句继续之前的读书笔记，本次讲解sas主要的变量操作，包括基本赋值语句、累加语句、keep语句、retain语句、array语句、rename语句、length语句。
黑马程序员 6天数据挖掘基础 笔记
第一部分：黑马程序员 6天数据挖掘基础笔记1.1 介绍在信息时代，数据挖掘已成为各行各业的重要工具，从商业决策到科学研究，数据挖掘都发挥着重要作用。
而作为一名程序员，了解数据挖掘的基础知识，将有助于提升自己的技能水平。
在这篇文章中，我们将从头开始，探讨由黑马程序员教育授课的6天数据挖掘基础课程内容。
1.2 数据挖掘概述数据挖掘是一项涉及统计学、机器学习和数据库技术的交叉学科，旨在通过发掘大量数据中的规律和模式，为企业和科研提供决策支持。
而黑马程序员的6天数据挖掘基础课程，将从基础开始，逐步引导学员了解数据挖掘的核心概念，并掌握相关的技术和工具。
1.3 课程内容概述在黑马程序员的6天数据挖掘基础课程中，学员将学习到数据挖掘的基本流程和方法，包括数据预处理、特征工程、模型构建和评估等内容。
课程还将介绍数据挖掘常用的算法和工具，如决策树、聚类分析、关联规则挖掘等。
在学习过程中，学员将通过实际案例和项目，进行实践操作，以深入理解数据挖掘的应用。
1.4 个人观点我个人认为，数据挖掘作为一项重要的技术手段，对程序员来说具有重要意义。
通过学习数据挖掘的基础知识，可以帮助程序员更好地理解和应用数据，提升自己在数据处理和分析方面的能力。
另外，黑马程序员的6天数据挖掘基础课程，内容丰富、实用性强，适合想要系统学习数据挖掘知识的程序员。
第二部分：课程深入探讨2.1 数据预处理在数据挖掘的过程中，数据预处理是至关重要的一步。
通过数据预处理，可以清洗和转换原始数据，使其适合用于接下来的分析和建模。
常见的数据预处理方法包括缺失值处理、异常值检测和处理、数据标准化等。
学员在学习数据挖掘基础课程时，需要掌握这些数据预处理方法，并能够灵活运用于实际项目中。
2.2 特征工程特征工程是指对原始数据进行特征提取、变换和选择，以构建更适合模型应用的特征集合。
在数据挖掘中，特征工程的质量直接影响模型的性能和准确度。
学员需要学会如何对数据进行特征工程，选择合适的特征，并将其转化为可供模型使用的数据格式。
数据挖掘——学习笔记（机器学习--监督，非监督，半监督学习）
数据挖掘——学习笔记（机器学习--监督，⾮监督，半监督学习）在机器学习()领域，监督学习()、⾮监督学习()以及半监督学习()是三类研究⽐较多，应⽤⽐较⼴的学习技术，上对这三种学习的简单描述如下：监督学习：通过已有的⼀部分输⼊数据与输出数据之间的对应关系，⽣成⼀个函数，将输⼊映射到合适的输出，例如分类。
⾮监督学习：直接对输⼊数据集进⾏建模，例如聚类。
半监督学习：综合利⽤有类标的数据和没有类标的数据，来⽣成合适的分类函数。
以上表述是我直接翻译过来的，因为都是⼀句话，所以说得不是很清楚，下⾯我⽤⼀个例⼦来具体解释⼀下。
其实很多机器学习都是在解决类别归属的问题，即给定⼀些数据，判断每条数据属于哪些类，或者和其他哪些数据属于同⼀类等等。
这样，如果我们上来就对这⼀堆数据进⾏某种划分(聚类)，通过数据内在的⼀些属性和联系，将数据⾃动整理为某⼏类，这就属于⾮监督学习。
如果我们⼀开始就知道了这些数据包含的类别，并且有⼀部分数据(训练数据)已经标上了类标，我们通过对这些已经标好类标的数据进⾏归纳总结，得出⼀个 “数据-->类别” 的映射函数，来对剩余的数据进⾏分类，这就属于监督学习。
⽽半监督学习指的是在训练数据⼗分稀少的情况下，通过利⽤⼀些没有类标的数据，提⾼学习准确率的⽅法。
铺垫了那么多，其实我想说的是，在wiki上对于半监督学习的解释是有⼀点点歧义的，这跟下⾯要介绍的主动学习有关。
主动学习()，指的是这样⼀种学习⽅法：有的时候，有类标的数据⽐较稀少⽽没有类标的数据是相当丰富的，但是对数据进⾏⼈⼯标注⼜⾮常昂贵，这时候，学习算法可以主动地提出⼀些标注请求，将⼀些经过筛选的数据提交给专家进⾏标注。
这个筛选过程也就是主动学习主要研究的地⽅了，怎么样筛选数据才能使得请求标注的次数尽量少⽽最终的结果⼜尽量好。
主动学习的过程⼤致是这样的，有⼀个已经标好类标的数据集K(初始时可能为空)，和还没有标记的数据集U，通过K集合的信息，找出⼀个U的⼦集C，提出标注请求，待专家将数据集C标注完成后加⼊到K集合中，进⾏下⼀次迭代。
数据挖掘导论知识点总结
数据挖掘导论知识点总结数据挖掘是一门综合性的学科，它涵盖了大量的知识点和技术。
在本文中，我将对数据挖掘的导论知识点进行总结，包括数据挖掘的定义、历史、主要任务、技术和应用等方面。
一、数据挖掘的定义数据挖掘是从大量的数据中发掘出有价值的信息和知识的过程。
它是一种将数据转换为有意义的模式和规律的过程，从而帮助人们进行决策和预测的技术。
数据挖掘能够帮助我们从海量的数据中找到潜在的关联、规律和趋势，从而为决策者提供更准确和具有实际意义的信息。
二、数据挖掘的历史数据挖掘的概念最早可追溯到20世纪60年代，当时统计学家和计算机科学家开始尝试使用计算机技术来处理和分析大量的数据。
随着计算机硬件和软件技术的不断发展，数据挖掘逐渐成为一门独立的学科，并得到了广泛应用。
三、数据挖掘的主要任务数据挖掘的主要任务包括分类、聚类、关联规则挖掘、异常检测和预测等。
分类是将数据划分为多个类别的过程，其目的是帮助我们将数据进行分组和识别。
聚类是将数据划分为多个簇的过程，其目的是发现数据中的潜在模式和规律。
关联规则挖掘是发现数据中的关联规则和频繁项集的过程，其目的是发现数据中的潜在关联和趋势。
异常检测是发现数据中的异常值和异常模式的过程，其目的是发现数据中的异常现象。
预测是使用数据挖掘技术对未来进行预测的过程，其目的是帮助我们做出更准确的决策。
四、数据挖掘的技术数据挖掘的技术包括统计分析、机器学习、人工智能、数据库技术和数据可视化等。
统计分析是数据挖掘的基础技术，它包括描述统计、推断统计和假设检验等方法。
机器学习是一种使用算法和模型来识别数据模式和规律的技术，常见的机器学习算法包括决策树、神经网络、支持向量机和朴素贝叶斯等。
人工智能是数据挖掘的前沿技术，它包括自然语言处理、图像识别和智能决策等方面。
数据库技术是数据挖掘的技术基础，包括数据存储、数据检索和数据管理等技术。
数据可视化是数据挖掘的重要技术，它能够帮助我们将数据呈现为可视化的图表和图形，从而更直观地理解数据。
数据挖掘知识点归纳总结
数据挖掘知识点归纳总结一、数据挖掘概述数据挖掘是通过分析大量数据，发现其中隐藏的规律、趋势和模式，从而得出有用的信息和知识。
数据挖掘可以帮助企业做出更明智的决策，提高生产效率，降低成本，增加收入。
数据挖掘技术包括数据预处理、特征选择、模型构建和评估等步骤。
二、数据挖掘的基本过程1. 数据采集：从各种数据源中收集数据，可以是数据库、文本文件、传感器数据等。
2. 数据预处理：清洗数据、处理缺失值、去除噪声、数据标准化等，使得数据适合进行挖掘分析。
3. 数据挖掘：应用各种数据挖掘技术和算法，寻找模式、规律和趋势。
4. 模型评估：评估挖掘模型的性能，选择最优的模型。
5. 模型部署：将优化的模型应用到实际业务中，产生价值。
三、数据挖掘的主要技术和算法1. 分类算法：用于对数据进行分类，如决策树、支持向量机、朴素贝叶斯、逻辑回归等。
2. 聚类算法：将数据集中的对象划分为不同的组，如K均值聚类、DBSCAN、层次聚类等。
3. 关联规则挖掘：寻找数据项之间的关联关系，如Apriori算法、FP-Growth算法。
4. 强化学习：通过智能体与环境的交互学习，以达到某种目标，如Q学习、策略梯度方法等。
5. 文本挖掘：用于从大量文本数据中提取有用信息，如情感分析、主题模型、关键词提取等。
四、数据挖掘的应用领域1. 金融领域：用于信用评分、欺诈检测、股票预测等。
2. 零售行业：用于市场营销、销售预测、商品推荐等。
3. 医疗健康：用于疾病预测、基因识别、医疗影像分析等。
4. 社交网络：用于用户推荐、社交关系分析、舆情监测等。
5. 制造业：用于质量控制、生产优化、设备预测维护等。
五、数据挖掘的挑战和解决方案1. 大数据处理：随着数据量的增加，数据挖掘面临着大规模数据的处理和分析问题，需要使用并行计算、分布式计算等技术。
2. 数据质量：数据质量差会影响挖掘结果的准确性，需要进行数据清洗、去重和统一化。
3. 模型解释：一些数据挖掘模型缺乏解释性，如深度学习模型，需要提供解释性的方法来解释模型的结果。
数据分析笔记：财政收入预测数据挖掘分析
数据分析笔记：财政收⼊预测数据挖掘分析1、背景在我国现⾏的分税制财政管理体制下，地⽅财政收⼊不仅是国家财政收⼊的重要组成部分，⽽且具有其相对独⽴的构成内容。
地⽅财政收⼊是区域国民经济的综合反映，也是市场经济国家的政府进⾏宏观调控的基础。
科学、合理地预测地⽅财政收⼈，对于克服年度地⽅预算收⽀规模确定的随意性和盲⽬性，正确处理地⽅财政与经济的相互关系具有⼗分重要的意义。
⼴州市作为⼴东省的省会，改⾰开放的前沿城市，交通便利，拥有中国⼤陆三⼤国际航空枢纽机场之⼀的⼴州⽩云国际机场和中国第三⼤港⼝、港⼝货物吞吐量居世界港⼝第五位的⼴州港。
⼴州号称千年商埠，历史上⼀直是中国最重要的商业中⼼之⼀，商业⽹点多、⾏业齐全、辐射⾯⼴、信息灵、流通渠道通顺，拥有商业⽹点10万多个，为中国⼗⼤城市之冠。
⼴州市在实现经济快速发展，地区⽣产总值飞跃的同时，也意味着财政收⼊的增收。
2013年，⼴州实现地区⽣产总值（GDP）15420.14亿元，增长11.6%。
其中，第⼀产业增加值228.87亿元，增长2.7 %；第⼆产业增加值5227.38亿元，增长9.2%；第三产业增加值9963.89亿元，增长13.3%。
第⼀、⼆、三产业增加值的⽐例为1.48∶33.90∶64.62。
三次产业对经济增长的贡献率分别为0.4%、29.0%和70.6%。
⼴州地⽅公共财政预算收⼊1141.79亿元，增长10.8%；如何做出下⼀年有效的财政收⼊预算，为下⼀年的政策提供指导依据，是⼀个具有重⼤意义的问题。
2、需求要求：根据⼴州市1999年-2013年财政收⼊数据，预测⼴州市2014-2015年份的地⽅财政收⼊、增值税、营业税、企业所得税、个⼈所得税、政府性基⾦收⼊等数据。
并给出相关建议。
3、分析思路数据分析思路：⾸先，阅读、理解以及整理收集到的数据，根据经济指标提炼数据，接着通过Adaptive_lasso⽅法进⾏特征选择，得到满⾜条件的特征变量；其次，使⽤灰⾊预测对财政收⼊、增值税、营业税、企业所得税、个⼈所得税、政府性基⾦收⼊的影响因素2014-2015年数据进⾏预测，得到各影响因素2014-2015年数据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一章绪论
预测任务：根据其他属性的值，预测特定属性的值。
通常
数据挖掘的任务
描述任务：导出概括数据中潜联系的模式
四种主要的数据挖掘任务：预测建模、关联分析、聚类分析、异常检测
预测建模：分类：用于预测离散的目标变量
回归：用于预测连续的目标变量
关联分析：用于发现描述数据中强关联特征的模式。
聚类分析：旨在发现紧密相关的观测值组群，是的与属于不同簇的观测值相比，属于同一簇的观测值相互之间尽可能的相似。
异常检测：识别器特征显著不同于其他数据的观测值。
这样的观测值称为异常点，或离群点。
第二章数据
数据集的类型
维度：数据集的维度是数据集中的对象具有的属性数目。
低维度数据往往与中、高维度数据有质的不同。
数据预处理的一个重要动机就是减少维度，成为维归约。
稀疏性：有些数据集，如果具有非对称特征的数据集，一个对象的大部分属性上的值都为0；在许多情况下，非零项还不到1%。
（非对称属性：eg：对于某个学生，选修某门课程为1，否则取值0.由于学生只选择了所有课程中的一小部分。
所以数据集的大部分值都是0）
分辨率：常常可以在不同的分辨率下得到数据，并且在不同的分辨率下数据的性质也不同。
（以几米或者几十米分辨率观测地球表面）。
离群点：在某种意义上具有不同于数据集中其他大部分数据对象的特征的数据对象，或是相对于该属性的典型值来说不寻常的属性值。
数据预处理：
聚集：将两个或多个对象合并成单个对象。
无放回抽样
简单随机抽样
有放回抽样
抽样
分层抽样：从预先制定的组开始抽样
维归约
嵌入
特征子集选择过滤
包装
特征加权：特征加权是另一种保留或删除特征的办法。
特征越重要，所赋予的权值越大
相似性和相异性的度量
用邻近度表示相似性或相异性。
相似度定义两个对象相似程度的数值度量
相异度定义两个对象差异程度的数值度量
第四章
分类：分类任务就是通过学习得到一个目标函数f，把每个属性集x映射到一个预先定义的类标号y
决策树归纳
根结点：它没有入边，但有零条或多条出边
内部结点：恰有一条入边和两条或多条出边
叶结点或终结点：恰有一条入边，但没有出边
通过比较父节点（划分前）的不纯程度和子女结点（划分后）的不纯度，他们的差
是一种可以用来确定划分效果的标准：
其中I 是给定结点的不纯性度量，N是父节点上的记录总数，K 是属性的个数，N 是与子女结点v 相关联的记录个数
两个不同类的相邻区域之间的边界称作决策边界。
模型的过拟合
分类模型的误差大致分为两张：训练误差（再代入误差或表现误差），泛化误差
模型拟合不足：决策树很小，训练和检验误差都很大
模型过分拟合：树的模型变得太大，即使训练误差还在继续降低，但是检验误差开始增大，这种现象叫做过分拟合
奥卡姆剃刀：给定两个具有相同泛化误差的模型，较简单的模型比较复杂的模型更可取
悲观误差评估：第一种方法明确使用训练误差与模型复杂度罚项的和计算泛华误差。
结果泛华误差可以看做模型的悲观误差估计。
设n是结点t分类的训练记录数，e 是被误分类的记录数。
决策树t 的悲观误差估计e 可以用下式计算
保持方法：
在保持（Holdout）方法中，将被标记的原始数据划分成两个不想交的集合，分别成为训练集和检验集。
在训练数据集上归纳分类模型，在检验集上评估模型的性能。
随机二次抽样：
多次重复保持方法来改进对分类器性能的估计，称作随机二次抽样
交叉验证：
假设把数据分为相同大小的两个子集，首先，我们选择一个自己做训练集，而另一个做检验集，然后交换两个集合的角色，原先做训练集的现在做检验集，反之亦然，这种方法叫做二折交叉验证
K折交叉验证：把数据分为大小相同的K份，在每次运行，选择其中一份作检验集，而其余的全做为训练集，该过程重复K次，使得每份数据都用于检验恰好一次。
第五章：
线性回归
算法: 回归
监督学习非线性回归
分类
机器学习：
非监督学习。
监督学习：意指出一部分算法，需要部分数据集已经有正确的答案，eg房价，对于里面的每一个数据，算法都知道对应的正确的房价，即房子实际卖出价格。
算法的结果就是算出更多的正确价格。
自顶向下
划分式：K-mean
聚类层次式：荣誉一个树下有子簇。
自底向上：凝聚式
基于密度式：DBSCAN
K-means
1、设定随机种子，确定K个随机点为初始质心
2、根据确定的初始质心，用确定的度量相似度的方式（欧氏距离、曼哈顿、n
范式）
（）（）
若点为（1,1）（2,2）则欧氏距离为：
将所有的数据进行分类。
（根据初始质心的远近来判断）
3、将分好的簇再次计算求出质心
质心
4、重复2
5、若所分的每个簇的元素不变，则结束，否则冲否3、4（或者质心不变、或达到自己设
定的循环条件）
凝聚式聚类
由某种规则确定的单个元素出发，寻找到距离他最近地元素组成簇，最终形成一个簇Array
DBSCAN
核心点（个数>n），边界点（n>个数>k），
噪声点（个数<k）
设置半径R 数目n 参数K （k<n）
1、确定每一个元素的身份
2、去掉噪声点（<k）
3、将所有核心点距离小于R的元素归为一个簇
4、把边界点指派到3形成的簇中
Canopy算法
1、将原始数据集合list 按照一定的规则进行排序（这个规则是任意的，但是一旦确定就不可更改），初始距离阀值为T1 T2 且T1>T2
2、在List中随机挑选一个数据向量A，使用一个粗糙距离计算方式计算A与List中其他样本数据向量之间的距离d
3、根据第二步中的距离d，将d小于T1的样本数据向量划分到一个canopy中，同时，把d 小于T2的样本数据向量从候选中心名单向量中移除
4、重复2、3，直到候选中心向量名单为空，即List为空，算法结束。
分类算法：
感知机：
假设数据集必须是线性可分的。
将一个线性可分的数据集，用一条线或者平面或者超平面，将其分为两部分。
Y= ax+b
W1x1+w2x2+b0=0
W3x1+w3x2+b1=0
寻找特定的参数，w1 w2 w3 w4 b0………满足上述。
其中：使得sign（wx+b）>0 x为正类sign（wx+b）>0 x为负类
逻辑回归：
思想：将线性多项式映射到非线性上，使其可分
线性回归
思想：寻找一个线性目标函数，是预测值与真实值的差距越小越好。
线性方程：
Min
得出 。
KNN
贝叶斯公式：。