《Python金融数据挖掘及其应用》教学大纲
《Python金融数据挖掘》 课件第1章
数据挖掘的概念
第一节 数据挖掘的概念
数据挖掘是数据库知识发现（Knowledge Discovery in Databases，KDD)中的一个重 要步骤。 数据挖掘是指从大量数据中通过算法搜索隐藏于其中的有效信息的过程。 数据挖掘基于计算机科学、数学等相关的理论方法和技术手段，通过数据采集、 关系化存储、高速处理等手段，对采集到的数据进行应用统计、在线分析处理、 情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法， 对已经预测或者推测出的规律进行验证，进而对还未发现的、隐藏的规律进行自 动归纳、总结和发现。
第二节 金融数据挖掘的意义和应用
目前，数据挖掘在金融行业的比较典型的应用包括产品客户开发、风险评估控制、 客户业务管理、客户延伸服务和业务合规监管等。 1.产品客户开发 通过探索性的数据挖掘方法，如自动探测聚类和购物篮分析，可以找出客户数据 库中的特征，预测银行营销活动的响应率。那些被定为有利的特征可以与新的非 客户群进行匹配，以增加营销活动的效果。 数据挖掘还可从银行数据库存储的客户信息中，根据事先设定的标准找到符合条 件的客户群，也可以将客户进行聚类分析，通过对客户的服务收入、风险、成本 等相关因素的分析、预测和优化，找到新的可赢利目标客户。
第一节 数据挖掘的概念
数据挖掘算法一般以大数据为基础。大数据的特点通常可以概括为4V： 总价值高/单位价值低（Value）：大数据具有单位价值低的特点，其中价值密度的
高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监 控中，有用数据可能仅有一二秒，但是这一二秒的数据，往往有着非常重大的价值。 如何通过强大的机器学习和数据挖掘算法迅速地完成数据的价值“提纯”，是目前大 数据背景下被广泛关注的热点问题。 体量大（Volume）：从2013年至2020年，人类的数据规模将扩大50倍，每年产生的 数据量将增长44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻 一番。 速度快（Velocity）：随着现代检测、互联网、计算机技术的发展，数据生成、储存、 分析、处理的速度远远超出人们的想象，这是大数据区别于传统数据或小数据的显 著特征。 种类多（Variety）：大数据与传统数据相比，数据来源更广、维度更高、类型更复 杂。相对于以往便于存储的、以文本为主的结构化数据，非结构化数据越来越多， 常见的非结构化数据包括网络日志、音频、视频、图片、地理位置等信息，这些多 型的数据对数据的处理能力见的数据挖掘算法可归结为以下四个方面： 1．关联分析：旨在找出所有能把一组事件或数据项与另一组事件或数据项联系起 来的强关联规则（拉关系）。例如，如果你今天在淘宝或京东等大型电商平台购 买了手机，那么你明天登录网站的时候，很可能会购买手机套、充电器、数据线 等和手机使用相关的产品。Apriori算法是典型的关联分析算法。 2．数据分类：分类是指通过对数据集的学习获得一个映射函数，从而将未知类别 的样本映射到给定类别中（贴标签）。例如，在银行的历史信用卡数据中，有按 时还款的正常客户，也有不能按时还款的逾期客户。银行希望通过用户的基础信 息及历史交易数据等，判断其是正常客户还是逾期客户（这个就是分类标签）， 从而提前甄别出逾期客户，以尽可能地降低逾期发生率。分类算法通常包括训练 （即生成分类函数）和识别（即样品归类）两个阶段，典型的分类算法包括决策 树、贝叶斯、神经网络、支持向量机等。
《Python金融数据挖掘与分析实战》—教学教案
元组与列表类似，也是Python中一种常用的数据结构，不同之处在于元组中的元素不能修改，元组采用圆括号括起来进行定义。示例代码如下：
t1=(1,2,3,4,6)
t2=(1,2,'kl')
t3=('h1','h2','h3')
1.4.5 集合的定义
集合也是Python中的数据结构，它是一种不重复元素的序列，用大括号括起来进行定义。示例代码如下：
{'LY', 'SE', 'KR'}
{'LY', 'SE', 'KR'}
从执行结果可以看出，集合保持了元素的唯一性，对于重复的元素只取一个。
1.4.6 字典的定义
字典是Python中一种按键值定义的数据结构，其中键必须唯一，但值不必。字典用大括号括起来进行定义。字典中的元素由键和值两部分组成，键在前值在后，键和值之间用冒号(:)来区分，元素之间用逗号隔开。键可以是数值、字符，值可以是数值、字符或者其他Python数据结构（比如列表、元组等）。示例代码如下：
d1={1:'h',2:[1,2,'k'],3:9}
d2={'a':2,'b':'ky'}
d3={'q1':[90,100],'k2':'kkk'}
1.5 Python相关的公有方法
Python的公有方法是指Python中大部分的数据结构均可以通用的一种数据操作方法。下面主要介绍索引、切片、求长度、统计、成员身份确认、变量删除等常用的数据操作方法
《金融市场数据分析与数据挖掘》教学大纲
《金融市场数据分析与数据挖掘》教学大纲课程名称：金融市场数据分析与数据挖掘课程学分：3学分课程介绍：金融市场数据分析与数据挖掘是一门综合性的课程，旨在提供金融市场相关数据的分析与挖掘技术。
通过本课程的学习，学生将获得金融市场数据的收集、整理与处理的能力，以及金融数据分析与挖掘的方法和技巧。
同时，本课程还将介绍相关软件工具和编程语言的应用，以帮助学生提高数据分析与挖掘的实践能力。
课程目标：1.掌握金融市场数据的收集、整理和处理方法。
2.熟悉金融数据分析和挖掘的基本理论和方法。
3.学会使用常用的统计分析工具和编程语言进行金融数据分析与挖掘。
4.培养独立思考和问题解决的能力。
教学内容：1.金融市场数据的特点与获取方法。
2.数据预处理与数据清洗。
3.数据可视化与探索性分析。
4.描述性统计分析。
5.相关性分析与因子分析。
6.时间序列分析与预测。
7.机器学习算法在金融数据挖掘中的应用。
8.金融风险分析与模型构建。
教学方法：1.理论讲授：通过教师讲解金融数据分析和挖掘的基本理论和方法，帮助学生建立相应的基础知识。
2.实例分析：通过案例分析，引导学生运用所学知识分析实际金融市场数据。
3.讨论与交流：组织学生进行讨论和交流，促进学生之间的互动和思维碰撞。
4.实践操作：通过实践操作，帮助学生熟悉常用的统计分析工具和编程语言，提高数据分析与挖掘的实践能力。
评估方式：1.平时成绩：考勤、课堂表现、课堂讨论等。
2.作业成绩：按时完成平时作业并准确无误。
3.期中考试：对课程前半部分内容进行考察。
4.期末考试：对课程全部内容进行考察。
5.课程设计：根据实际金融市场数据进行分析与挖掘，并撰写实验报告。
参考教材：1.李梅，《大数据金融学》，机械工业出版社。
2. Tan, et al., "Introduction to Data Mining", Pearson Education, 2024.。
参考工具：1. Python编程语言及相关库（numpy、pandas、matplotlib、scikit-learn等）。
python数据分析与挖掘 教学大纲
《数据分析与挖掘》课程名称：数据分析与挖掘建议课时数： 80（其中实践课时数：40 ）适用专业：大数据技术与应用一、前言（一）课程的定位1．课程性质：本课程是大数据技术与应用的一门专业核心课程，属于专业必修课程。
2．课程功能：本课程通过对数据中所蕴含的价值进行挖掘，保证生产正常运行，提升经营水平和生产运作效率，具体来说，培养学生数据导入、数据清洗、数据整理、数据分析和数据可视化等方面的能力。
3．相关课程: 本课程是《数据采集和存储》课程的为后置课程，同时也是大数据实训课程的前置课程。
（二）设计思路该课程是依据“大数据技术与应用专业工作任务与职业能力分析表”中数据的过程控制与工作项目设置的。
其总体设计思路是，打破以知识传授为主要特征的传统学科课程模式，转变为以工作任务为中心组织课程内容，并让学生在完成具体项目的过程中学会完成相应工作任务，并构建相关理论知识，发展职业能力。
以就业为导向以能力为本位，对数据导入、数据处理、数据分析、数据可视化等方面进行任务与职业能力分析，通过案例教学、讨论教学、模拟仿真等多种教学方法和手段，培养学生具备基本的职业能力。
项目设计以餐饮数据项目的数据为线索，以数据流的运行为主线，设计数据导入、数据去空去重、数据合并、时间序列处理、常用指标分析、交叉表分析、相关分析项目案例，通过项目分解和任内练习，学生能理解数据分析中各类数据格式的作用，理解数据清洗的含义，理解适用于数据分析各种图形的画法。
该门课程的总学时为80课时，5个学分。
二、课程目标（一）知识目标●掌握各类数据文件的格式特点；●掌握各类数据格式的意义和特点；●理解数据去空去重的含义及处理方法；●理解时间序列处理方法；●理解数据的各种统计指标的作用；●理解适用于数据的相关性及其使用方法。
●理解各种图形的画法。
（二）技能目标●能够利用pandas导入数据、筛选数据；●能够利用pandas对数据进行预处理，比如去除空值和重复值、时间序列处理；●能够利用统计指标对预处理后的数据进行简单分析；●能够运用一些合适的图形挖掘出数据的规律。
《金融数据挖掘》教学大纲(本科)
《金融数据挖掘》教学大纲注：课程类别是指公共基础课/学科基础课/专业课；课程性质是指必修/限选/任选。
一、课程地位与课程目标（一）课程地位金融实证研究的一个显著特点是数据分析量大、不确定性因素多，面对当今时代的海量金融数据，基于传统统计技术建立的模型假设条件多，实际应用难以奏效。
数据挖掘20世纪90年代中期兴起的新技术，是发现数据中有用模式的过程，其目的在于使用所发现的模式帮助解释当前的行为或预测未来的结果，以人们容易理解的形式提供有用的决策信息。
通过本课程的学习，使学生初步掌握金融数据分析的基本方法，掌握几种重要的数据挖掘方法，掌握如何利用计算软件分析数据、解决问题、完成相关研究。
通过本课程的学习和相关软件的使用，使学生了解数据分析和数据挖掘在金融领域的重要运用，使之能够利用所学到的数据分析与数据挖掘方法开展金融领域的应用研究，并有进一步学习的基础与能力。
（二）课程目标.理解数据挖掘的特点和基本流程，掌握数据挖掘的重要思想；1.掌握不同类别的数据挖掘方法，包括回归、分类、聚类、降维等；.能够运用工具语言，如R、Python等，进行数据挖掘；2.学会运用数据挖掘的方法解决金融研究中的问题。
二、课程目标达成的途径与方法本课程本着学以致用的原则，结合最新的发展，以课堂教学为主，结合实践教学、课堂讨论、课外作业等方式来达成课程的学习目标。
通过讲解数据挖掘的重要思想、建模方法、软件实现的理论教学，使学生理解数据挖掘的建模思想、解决实际问题的办法和思路，掌握数据挖掘的常用工具方法；通过课外实践和课外作业，使学生能够学以致用，学会用数据挖掘的方法解决金融研究中的实际问题，并掌握一门编程语言作为后续学习和研究的工具。
三、课程目标与相关毕业要求的对应关系注：1.支撑强度分别填写H、M或L (其中H表示支撑程度高、M为中等、L为低)。
2.毕业要求须根据课程所在专业培养方案进行描述。
四、课程主要内容与基本要求第一章数据挖掘概述(1)主要内容：数据挖掘的概念，数据挖掘的主要功能，数据挖掘的方法论，软件介绍。
《Python金融数据挖掘》 课件第11章
第三节 案例:银行客户群体划分 数据降为2维，绘制2维图：
第三节 案例:银行客户群体划分 K均值聚类
第三节 案例:银行客户群体划分 将case_clusterAssment中的聚类结果写回原始DataFrame
第三节 案例:银行客户群体划分
输出结果：
第三节 案例:银行客户群体划分
结论：
…… -3.253815
X 2.096701 -2.70903 3.367037
-3.17118
Y 3.886007 2.923887 -3.18479
-3.57245
X 2.89422 -2.56254 3.491078
-4.90557
Y 2.489128 2.884438 -3.94749
-2.91107
2. 掌握K均值聚类算法研究的对象、意义、应用场景、算法原 理及其实现。
需求背景
K近邻（KNN，K Nearest Neighbors）算法属于分类算法。样本数据集中除了 数据点的坐标，每个点还有一个分类标签。
如果现在新出现了一个待分类的数据点A，KNN算法是根据与A相邻的K个样 本点分类归属情况，来决定A应该归属到哪一类。前面章节介绍过的决策树 算法、贝叶斯算法和K近邻算法都属于分类算法。
找出T中距离A最近 的K个近邻
选择K个近邻中相对多数的 分类标签作为A的分类结果
结束
第一节 K近邻分类原理与实现
【例 11-1】 下面代码首先新建了两个数据点testX和testY，再分别调用kNNClassify
函数计算其分类归属。 K近邻算法有比较直观的解释（特别是在低维空间中），其欧氏距离的
第十一章
K近邻分类与 K均值聚类算法
《Python金融数据挖掘》 高等教育出版
《Python金融数据挖掘》 课件第8章
最小置信度是用户定义的衡量置信度的一个阈值，表示关 联规则的最低可靠性。
同时满足最小支持度阈值和最小置信度阈值的规则称作强 规则。
通俗地讲，就是要达到一定的门槛，我们才将这种现象纳 入考虑范围。
第一节 Apriori算法原理
5. Apriori算法原理
关联规则算法的基本流程如下： ✓ 找出所有出现过的产品项（候选单项集）； ✓ 将这些产品项的所有可能组合列出来（候选单项集，若干候选单项 集组合形成的候选2-项集、3-项集……）； ✓ 在顾客的购买清单中，逐一对这些组合进行匹配（候选项集是否是 某位顾客购买清单项中的子集，如果是，该候选项集的支持度加1； ✓ 将大于事先设置好的支持度阈值的候选项集列出，计算其置信度。
Agrawal从数学及计算机算法角度出发，提出了商品关联关系的计算方 法——Apriori算法。沃尔玛从上个世纪90年代尝试将Apriori算法引入到 POS机数据分析中，获得了显著的业绩增长。
第一节 Apriori算法原理
啤酒与尿布
关于关联规则数据挖掘的应用，有一个流传甚广的案例：“啤酒与尿 布”的故事。这个故事产生于20世纪90年代的美国沃尔玛超市中，沃 尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象： “啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个 购物篮中。
3. 支持度和置信度
在进行算法分析之前，我们先了解两个重要的概念：支持度（Support）和置 信度（Confidence）。支持度衡量规则在数据库中出现的频率，置信度衡量规 则的强弱程度。
第一节 Apriori算法原理
第一节 Apriori算法原理
4. 最小支持度和最小置信度 最小支持度是用户定义的衡量支持度的一个阈值，表示项
《Python数据分析与挖掘基础》教学大纲
《python数据分析与挖掘基础》课程教学大纲课程代码：学分：4学时：64（其中：讲课学时：42 实践或实验学时：22）先修课程：数学分析、高等代数、概率统计、Python程序设计基础适用专业：信息与计算科学建议教材：黄恒秋主编.Python金融数据分析与挖掘实战[M]. 北京：人民邮电出版社.2019. 开课系部：数学与计算机科学学院一、课程的性质与任务课程性质：专业方向选修课。
课程任务：大数据时代，数据成为决策最为重要的参考之一，数据分析行业迈入了一个全新的阶段。
通过学习本课程，使得学生能够掌握Python科学计算、数据处理、数据可视化、挖掘建模等基本技能，能够针对基本的数据挖掘问题与样例数据，调用Python中的第三方扩展包Numpy、Pandas、Matplotlib、Scikit-learn及关联规则算法代码，进行处理、计算与分析，从而为其他的专业领域课程或者复杂应用问题提供基础支撑。
二、课程的基本内容及要求本课程教学时数为64学时，4学分；实验22学时，1.375学分。
第一章Python基础1.课程教学内容：（1）Python及其发行版Anaconda的安装与启动、Spyder开发工具的使用和Python 新库的安装方法；（2）Python基本语法和数据结构。
2.课程的重点、难点：（1）重点：Python基本语法和数据结构的灵活运用；（2）难点：Python数据结构的灵活运用。
3.课程教学要求：（1）了解Python的安装及界面基本使用技能；（2）理解Python基本数据结构及方法的使用；（3）掌握Python基本数据结构的使用技能及循环、条件语句的应用。
第二章科学计算包Numpy1.课程教学内容：（1）导入并使用Numpy创建数组；（2）数组的运算、切片、连接及存取、排序与搜索；数组相关属性与方法；（3）矩阵及线性代数运算。
2.课程的重点、难点：（1）重点：数组的切片、连接、改变形态。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《python金融数据挖掘及其应用》课程教学大纲
课程代码：
学分：5
学时：80（其中：讲课学时：60 实践或实验学时：20 ）
先修课程：数学分析、高等代数、概率统计、金融基础知识、Python程序设计基础
适用专业：信息与计算科学
建议教材：黄恒秋主编.Python金融数据分析与挖掘实战[M]. 北京：人民邮电出版社.2019.
开课系部：数学与计算机科学学院
一、课程的性质与任务
课程性质：专业方向选修课。
课程任务：大数据时代，数据成为决策最为重要的参考之一，数据分析行业迈入了一个全新的阶段。
通过学习本课程，使得学生在掌握Python科学计算、数据处理、数据可视化、挖掘建模等基本技能基础上，进一步地扩展应用到较为复杂金融数据处理及挖掘分析任务上，最后进行量化投资实战检验。
本课程为Python在金融量化投资领域的具体应用，也是Python 在金融行业应用最为广泛的领域之一，从而使得学生具备一定的行业应用背景及就业技能。
二、课程的基本内容及要求
本课程教学时数为80学时，5学分；实验20学时,1.25学分。
第七章基础案例
1.课程教学内容：
（1）股票价格指数周收益率和月收益率的计算；
（2）上市公司净利润增长率的计算；
（3）股票价、量走势图绘制；
（4）股票价格移动平均线的绘制；
（5）沪深300指数走势预测；
（6）基于主成分聚类的上市公司盈利能力分析。
2.课程的重点、难点：
（1）重点：案例的实现思路、算法及程序具体实现；
（2）难点：案例的实现算法、程序实现过程中各类数据结构的相互转换。
3.课程教学要求：
（1）了解案例实现的基本思路；
（2）理解案例实现的具体算法及程序实现，各种数据结构的相互转换并实现程序计算；
（3）掌握案例实现的具体过程，包括思路、算法、数据处理、程序计算及结果展现。
第八章综合案例一：上市公司综合评价
1.课程教学内容：
（1）上市公司综合评价模型及方法基本介绍；
（2）基于投资规模与效率指标的综合评价方法；
（3）基于成长与价值指标的综合评价方法；
（4）指标数据选取及数据预处理；
（5）主成分分析模型及程序实现；
（6）量化投资策略设计实现及结果分析。
2.课程的重点、难点：
（1）重点：业务数据理解、指标数据的选择、预处理、程序实现；
（2）难点：业务数据理解、数据预处理、模型的理解。
3.课程教学要求：
（1）了解上市公司综合评价的基本概念及模型；
（2）理解业务数据、指标数据选取、预处理、量化投资设计的基本原理、原则及流程；（3）掌握指标数据选取、预处理、程序实现、量化投资策略设计实现的全部流程。
第九章综合案例二：股票价格涨跌趋势预测
1.课程教学内容：
（1）股票价格涨跌趋势基本概念；
（2）技术分析指标的概念及计算公式；
（3）数据获取及指标计算；
（4）支持向量机模型、逻辑回归模型、神经网络模型实现及验证；
（5）量化投资策略设计实现及结果分析。
2.课程的重点、难点：
（1）重点：业务数据理解、指标概念及公式理解、程序实现及模型检验；
（2）难点：业务数据理解、指标公式理解及量化投资策略设计实现。
3.课程教学要求：
（1）了解股票价格涨跌趋势的基本概念；
（2）理解业务数据、技术分析指标数据计算、模型实现及验证相关原理、方法及流程；（3）掌握技术分析指标数据计算、模型检验、量化投资策略设计实现的全部流程。
第十章综合案例三：股票价格形态聚类与收益分析
1.课程教学内容：
（1）股票价格形态分析的基本概念；
（2）股票关键价格点的概念及提取算法；
（3）形态特征的表示及计算；
（4）K-最频繁值算法及程序实现；
（5）量化投资策略设计实现及结果分析。
2.课程的重点、难点：
（1）重点：业务数据理解、关键价格点提取算法、K-最频繁值聚类算法；
（2）难点：关键价格点提取算法、K-最频繁值聚类算法、量化投资策略设计实现；
3.课程教学要求：
（1）了解股票价格形态分析的基本概念、关键价格点概念；
（2）理解业务数据、关键价格点提取算法、形态特征表示、K-最频繁值聚类算法；
（3）掌握关键价格点提取算法、形态特征表示方法、K-最频繁值聚类算法的基本流程及程序实现，以及量化投资策略设计与实现。
第十一章综合案例四：行业联动与轮动分析
1.课程教学内容：
（1）行业联动与轮动的基本概念；
（2）行业联动与轮动的指标表示与计算；
（3）日、周、月频率的行业联动与轮动关联规则挖掘；
（4）量化投资策略设计实现及结果分析。
2.课程的重点、难点：
（1）重点：业务数据理解、行业轮动规则挖掘及量化投资策略设计实现；
（2）难点：行业轮动关联规则挖掘及量化投资策略设计实现。
3.课程教学要求：
（1）了解行业联动与轮动的基本概念；
（2）理解行业联动与轮动的指标表示、关联规则挖掘算法及量化投资策略设计原理；
（3）掌握行业联动与轮动关联规则挖掘算法及量化投资策略设计实现的全流程。
三、实践教学要求
金融数据挖掘及其应用是一门交叉复合型课程，涉及金融与金融数据、数据挖掘模型与算法、计算机编程技能等，同时也是一门实践性极强的课程。
本课程要求学生理解金融相关业务数据，并进行数据处理、分析与挖掘，同时根据挖掘的结论设计量化投资策略及实现。
本课程要求使用Python作为编程工具，建议使用Python的集成开发平台进行程序编写及教学，比如Anaconda、pycharm等。
四、课程学时分配
五、大纲说明
1.教学手段：
（1）理论与实践相结合，多媒体机房上课，带黑板（方便板书及推导）；
（2）讲授课程结束后即开展实验，在机房进行。
2.考核方式建议：
（1）课程论文或者课程设计作品或者参加学科竞赛作品（70%）
（2）实验报告（15%）和实验结果（15%）进行评分
3.教材：
黄恒秋主编.Python金融数据分析与挖掘实战[M]. 北京：人民邮电出版社.2019.；
六、参考书目
[1] 张良均.Python数据分析与挖掘实战[M].北京：机械工业出版社.2016.
[2]王宇韬.Python金融大数据挖掘与分析全流程详解[M]. 北京：机械工业出版社.2019.
七、制定人：黄恒秋审定人：批准人：
2019年11月13日201 年月日201 年月日。