【高级】第5章 数据处理(5.2 特征工程)V1.0
第5章 总体设计
第 5 章 总 体 设 计
通信内聚：如果模块中所有元素都使用同一个输入数
据和(或)产生同一个输出数据，则称为通信内聚。
25
软 件 工 程
高内聚也有两类： 顺序内聚：如果一个模块内的处理元素和同一个功 能密切相关，而且这些处理必须顺序执行(通常一个 处理元素的输出数据作为下一个处理元素的输入数 据)，则称为顺序内聚。
设 计
8
软 件 工 程
5. 设计软件结构
通常程序中的一个模块完成一个适当的子功能。应该把 模块组织成良好的层次系统，顶层模块调用它的下层模块以 实现程序的完整功能，每个下层模块再调用更下层的模块， 从而完成程序的一个子功能，最下层的模块完成最具体的功 能。软件结构(即由模块组成的层次系统)可以用层次图或结 构图来描绘，第5.4节将介绍这些图形工具。
逻辑内聚：如果一个模块完成的任务在逻辑上属于 相同或相似的一类，则称为逻辑内聚。
第 5 章 总 体 设 计
时间内聚：如果一个模块包含的任务必须在同一段 时间内执行，就叫时间内聚。
24
软 件 工 中内聚主要有两类： 程
过程内聚：如果一个模块内的处理元素是相关的，而 且必须以特定次序执行，则称为过程内聚。 (使用程序流程图作为工具设计软件时，常常通过研究 流程图确定模块的划分，这样得到的往往是过程内聚 的模块)
第 5 章 总 体 设 计
如果数据流图已经细化到适当的层次，则可以直接从数 据流图映射出软件结构，这就是第5.5节中将要讲述的面向 数据流的设计方法。
9
软 件 工 程
6. 设计数据库
对于需要使用数据库的那些应用系统，软件 工程师应该在需求分析阶段所确定的系统数据需 求的基础上，进一步设计数据库。 在数据库课中已经详细讲述了设计数据库的 方法，本书不再赘述。
数据处理与分析作业指导书
数据处理与分析作业指导书第1章数据处理基础 (4)1.1 数据类型与数据结构 (4)1.1.1 数据类型 (4)1.1.2 数据结构 (4)1.2 数据清洗与预处理 (4)1.2.1 缺失值处理 (4)1.2.2 异常值处理 (4)1.2.3 数据规范化 (5)1.3 数据整合与转换 (5)1.3.1 数据整合 (5)1.3.2 数据转换 (5)第2章数据分析方法论 (5)2.1 描述性统计分析 (5)2.2 假设检验与推断统计 (5)2.3 数据挖掘与机器学习 (6)第3章数据可视化 (6)3.1 基本图表与图形 (6)3.1.1 柱状图 (6)3.1.2 折线图 (6)3.1.3 饼图 (6)3.2 高级可视化技术 (6)3.2.1 散点图 (7)3.2.2 热力图 (7)3.2.3 雷达图 (7)3.3 交互式数据可视化 (7)3.3.1 交互式柱状图 (7)3.3.2 交互式散点图 (7)3.3.3 可视化仪表盘 (7)第4章数据存储与管理 (7)4.1 关系型数据库 (7)4.1.1 关系型数据库的原理 (7)4.1.2 常见关系型数据库 (8)4.1.3 关系型数据库的优势 (8)4.1.4 关系型数据库的局限 (8)4.2 非关系型数据库 (8)4.2.1 非关系型数据库的分类 (8)4.2.2 非关系型数据库的优势 (8)4.2.3 非关系型数据库的局限 (9)4.3 分布式文件系统 (9)4.3.1 分布式文件系统的原理 (9)4.3.2 常见分布式文件系统 (9)4.3.3 分布式文件系统的优势 (9)4.3.4 分布式文件系统的局限 (9)第5章数据挖掘算法 (9)5.1 分类算法 (9)5.1.1 概述 (10)5.1.2 常见分类算法 (10)5.2 聚类算法 (10)5.2.1 概述 (10)5.2.2 常见聚类算法 (10)5.3 关联规则挖掘 (10)5.3.1 概述 (10)5.3.2 常见关联规则挖掘算法 (11)第6章机器学习实战 (11)6.1 监督学习 (11)6.1.1 数据准备 (11)6.1.2 模型选择与训练 (11)6.1.3 模型评估 (11)6.1.4 模型优化 (11)6.2 无监督学习 (12)6.2.1 数据准备 (12)6.2.2 模型选择与训练 (12)6.2.3 模型评估 (12)6.2.4 模型优化 (12)6.3 强化学习 (12)6.3.1 强化学习基础 (12)6.3.2 模型建立 (12)6.3.3 强化学习算法 (12)6.3.4 强化学习应用 (13)第7章时间序列分析 (13)7.1 时间序列基本概念 (13)7.1.1 时间序列定义 (13)7.1.2 时间序列要素 (13)7.1.3 时间序列分类 (13)7.2 时间序列预测方法 (13)7.2.1 描述性预测方法 (13)7.2.2 模型预测方法 (14)7.3 时间序列模型评估 (14)7.3.1 模型评估指标 (14)7.3.2 模型选择与优化 (14)7.3.3 模型应用与监控 (14)第8章文本分析与自然语言处理 (14)8.1 文本预处理 (14)8.1.1 分词 (14)8.1.2 词性标注 (14)8.1.3 去停用词 (15)8.1.4 数据清洗 (15)8.2 词向量与词嵌入 (15)8.2.1 词袋模型 (15)8.2.2 空间向量模型 (15)8.2.3 词嵌入技术 (15)8.3 文本分类与情感分析 (15)8.3.1 文本分类 (15)8.3.2 情感分析 (15)8.3.3 常用情感分析方法 (15)第9章网络分析与图论 (16)9.1 网络结构分析 (16)9.1.1 网络基本概念 (16)9.1.2 网络的数学表示 (16)9.1.3 网络拓扑特征 (16)9.2 网络中心性度量 (16)9.2.1 度中心性 (16)9.2.2 介数中心性 (16)9.2.3 接近中心性 (16)9.2.4 其他中心性度量 (16)9.3 网络社区发觉 (16)9.3.1 社区定义与评估 (16)9.3.2 基于模块度的社区发觉算法 (16)9.3.3 基于图划分的社区发觉算法 (16)9.3.4 基于密度的社区发觉算法 (17)9.3.5 多层次社区发觉 (17)第10章数据安全与隐私保护 (17)10.1 数据加密与解密 (17)10.1.1 加密技术概述 (17)10.1.2 数据加密算法 (17)10.1.3 数据解密算法 (17)10.1.4 加密与解密的应用 (17)10.2 数据脱敏与隐私保护 (17)10.2.1 数据脱敏概述 (17)10.2.2 数据脱敏技术 (17)10.2.3 数据脱敏应用 (17)10.2.4 隐私保护策略 (17)10.3 数据安全法规与政策遵循 (18)10.3.1 数据安全法规体系 (18)10.3.2 数据安全政策 (18)10.3.3 数据安全合规要求 (18)10.3.4 数据安全审计与评估 (18)第1章数据处理基础1.1 数据类型与数据结构本章首先对数据处理中的基本概念进行阐述，包括数据类型和数据结构。
数据挖掘CHAPTER5概念描述：特征与比较
第五章概念描述：特征与比较从数据分析的角度，数据挖掘可以分为两类：描述式数据挖掘和预测式数据挖掘。
描述式数据挖掘以简洁概要的方式描述数据，并提供数据的有趣的一般性质。
预测式数据挖掘分析数据，建立一个或一组模型，并试图预测新数据集的行为。
数据库通常存放大量的细节数据。
然而，用户通常希望以简洁的描述形式观察汇总的数据集。
这种数据描述可以提供一类数据的概貌，或将它与对比类相区别。
此外，用户希望方便、灵活地以不同的粒度和从不同的角度描述数据集。
这种描述性数据挖掘称为概念描述，它是数据挖掘的一个重要部分。
本章，你将学习概念描述如何有效地进行。
5.1 什么是概念描述？描述性数据挖掘的最简单类型是概念描述。
概念通常指数据的汇集，如frequent_buyers, graduate_students等。
作为一种数据挖掘任务，概念描述不是数据的简单枚举。
概念描述产生数据的特征和比较描述。
当被描述的概念涉及对象类时，有时也称概念描述为类描述。
特征提供给定数据汇集的简洁汇总，而概念或类的比较（也称为区分）提供两个或多个数据汇集的比较描述。
由于概念描述涉及特征和比较，我们将逐一研究这些任务的实现技术。
概念描述与数据泛化密切相关。
给定存放在数据库中的大量数据，能够以简洁的形式在更一般的（而不是在较低的）抽象层描述数据是很有用的。
允许数据集在多个抽象层泛化，便于用户考察数据的一般行为。
例如，给定AllElectronics数据库，销售经理可能不想考察每个顾客的事务，而愿意观察泛化到高层的数据。
如，根据地区按顾客的分组汇总，观察每组顾客的购买频率和顾客的收入。
这种多维、多层数据泛化类似于数据仓库中的多维数据分析。
在这种意义下，概念描述类似于第2章讨论的数据仓库的联机分析处理（OLAP）。
“大型数据库的概念描述和数据仓库的联机分析处理有何不同？”二者之间的主要差别如下：复杂的数据类型和聚集：数据仓库和OLAP工具基于多维数据模型，将数据看作数据方形式，由维（或属性）和度量（聚集函数）组成。
数据预处理
第5章数据预处理数据清洗5.1合并连接与重塑5.2数据变换5.3引言数据预处理是一项极其重要又十分繁琐的工作，数据预处理的好坏对数据分析结果有决定性作用，同时在实际的数据分析和建模中，大约80%的时间是花费在数据准备和预处理上的。
Python 第五章 数据预处理第5章数据预处理数据清洗5.1数据清洗主要是处理原始数据中的重复数据、缺失数据和异常数据，使数据分析不受无效数据的影响。
•重复数据一般可删除；•缺失数据可删除或填充；•异常值可以删除或修正。
5.1.1 重复数据的处理（1）检测重复值DataFrame.duplicated(self，subset = None，keep ='first')•参数：•subset ：默认情况下根据每一行的所有值来判断重复，若需指定其中几列来判断重复，则设置此参数。
•keep： {'first'，'last'，False}，默认为'first'﹣first：从前往后标记重复项，第一次出现的数据标记为False，其余与之重复的都标记为True。
﹣last：与first相反。
﹣False：将所有重复项都标记为True。
[示例] 从前往后（默认）检测和标记完全重复的行import pandas as pddf = pd.DataFrame({'brand': ['a','b', 'a', 'a', 'c', 'c'],'style': ['cup','cup', 'cup', 'cup', 'pack', 'pack'], 'rating': [4, 4, 4, 3.5, 5, 5]})print(df)print('-------------------')# 第一次出现的行标记为False，其后重复行标记为True print(df.duplicated()) brand style rating0 a cup 4.01 b cup 4.02 a cup 4.03 a cup 3.54 c pack 5.05 c pack 5.0 -------------------0 False1 False2 True3 False4 False5 Truedtype: bool[示例] 从后往前检测和标记完全重复的行import pandas as pddf = pd.DataFrame({'brand': ['a','b', 'a', 'a', 'c', 'c'],'style': ['cup','cup', 'cup', 'cup', 'pack', 'pack'], 'rating': [4, 4, 4, 3.5, 5, 5]})print(df)print('-------------------')print(df.duplicated(keep='last'))brand style rating0 a cup 4.01 b cup 4.02 a cup 4.03 a cup 3.54 c pack 5.05 c pack 5.0 -------------------0 True1 False2 False3 False4 True5 False dtype: boolimport pandas as pddf = pd.DataFrame({'brand': ['a','b', 'a', 'a', 'c', 'c'],'style': ['cup','cup', 'cup', 'cup', 'pack', 'pack'], 'rating': [4, 4, 4, 3.5, 5, 5]})print(df)print('-----------------------')# 根据brand列的值检测重复行print(df.duplicated(subset='brand')) brand style rating0 a cup 4.01 b cup 4.02 a cup 4.03 a cup 3.54 c pack 5.05 c pack 5.0-----------------------0 False1 False2 True3 True4 False5 Truedtype: boolimport pandas as pddf = pd.DataFrame({'brand': ['a','b', 'a', 'a', 'c', 'c'],'style': ['cup','cup', 'cup', 'cup', 'pack', 'pack'], 'rating': [4, 4, 4, 3.5, 5, 5]})print(df)print('-----------------------')# 根据brand列和rating列的值检测重复行print(df.duplicated(subset=['brand','rating'])) brand style rating0 a cup 4.01 b cup 4.02 a cup 4.03 a cup 3.54 c pack 5.05 c pack 5.0-----------------------0 False1 False2 True3 False4 False5 Truedtype: bool（2）删除重复值DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)•subset：判断是否重复的列集合，默认是全部列。
第5章空间数据处理.
1.1 几何计算
1.2 线目标的基本算法 1.3 多边形基本操作算法
1.1 几何计算
1）两点之间的距离与方向 2）点到线目标的距离
3）长度和周长
4）多边形面积 5）多边形重心、
1.2 线目标的基本算法
1）线相交 2）曲线光滑 张力样条、斜轴抛物线、二次多项式、分 段三次多项式、线性迭代G
当βi≤180°时，i对应的平行线 转折点为iˊ的坐标为
x i ' x i d cos 0 / sin i / 2 yi ' yi d sin 0 / sin i / 2
当βi＞180°时，i点处的平行转 点不是一个点，而是一段圆弧, 圆弧上任意一点k的坐标为 x k x i dcos k y k y i dsin k
第五章 空间数据处理
本章主要介绍
空间数据处理包括两个方面：原始采集数据的处理 （符合GIS建库要求）、GIS数据的 加工处理（派 生新的信息） 主要介绍：空间数据处理的基本算法、图形编辑、 拓扑关系建立、坐标变换、矢量栅格数据转换以及 三维空间数据的处理
本章内容：
1. 空间数据处理的基本算法 2. 图形编辑的主要内容 3. 拓扑关系的建立 4.图形裁剪与合并 5. 图幅接边 6. 坐标变换 7. 地图投影 8.矢量栅格数据的转换 9. 三维空间数据的处理 本章重点与作业
基于矢量的方法： 基于中心线段平行线求交的方法、基于角平分线的 方法 基于中心线段平行线求交方法的基本思想是：先列出 中心线各线段平行线的直线方程，然后对相邻线段直 线方程求交，交点系列的连线即为所求的平行线。这 种方法对于较平缓的中心线来讲是适用的，但当中心 线出现尖角时，会出现失真的情况 基于角平分线的圆滑平行线绘制方法，基本思想是： 先求角平分线，然后根据转折角大小求平行点的位置 （或圆弧），并对失真情况和平行线自身相交情况进 行了特殊处理
Python数据科学入门指南与实践
Python数据科学入门指南与实践第一章：Python基础知识Python是一种高级编程语言，以其简洁、易读和兼容性而受到广泛的欢迎。
在数据科学领域中，Python被广泛应用于数据清洗、分析和可视化等任务。
本章将介绍Python的基本语法和数据结构，帮助读者快速上手Python编程。
1.1 Python的安装和配置- 安装Python解释器- 配置Python环境变量1.2 Python语法基础- 变量和数据类型- 控制流语句（if-else、for循环、while循环）- 函数和模块1.3 Python常用数据结构- 列表（List）- 元组（Tuple）- 字典（Dictionary）- 集合（Set）第二章：数据科学工具与库数据科学领域有许多强大的工具和库可供使用。
本章将介绍一些常用的数据科学工具和Python库，帮助读者掌握数据科学的常用工具和技术。
2.1 Jupyter Notebook- 安装和配置Jupyter Notebook- Jupyter Notebook的基本操作- Markdown语法入门2.2 Numpy- Numpy的基本概念和功能- Numpy的数组操作和数学运算- Numpy的高级功能和应用2.3 Pandas- Pandas的基本概念和数据结构（Series和DataFrame）- 数据读取和清洗- 数据分析和处理2.4 Matplotlib和Seaborn- 数据可视化基础- Matplotlib和Seaborn库的使用- 绘制常见的数据可视化图表第三章：数据获取与处理数据科学的第一步是获取并处理数据，本章将介绍常见的数据获取和处理方法，包括从文件、网络和数据库中获取数据，并进行数据清洗和数据预处理。
3.1 数据获取- 从文件（CSV、Excel、JSON等）中读取数据- 通过API获取数据- SQL数据库的连接和数据查询3.2 数据清洗和预处理- 处理缺失值- 处理异常值- 数据标准化和归一化- 特征选择和特征工程基础3.3 数据合并和重塑- 数据合并和连接- 数据重塑和透视第四章：数据分析与建模数据分析是数据科学的核心内容，本章将介绍常见的数据分析和建模方法，包括描述统计、数据可视化、机器学习和深度学习等。