12-统计学习理论(学时)介绍
中山大学数学系培养方案
数学与计算科学学院专业培养方案一、培养目标培养德育、智育、体育和美育全面发展，具有坚实数学或统计理论基础及计算能力，综合素质高的优秀本科毕业生。
为全国重点高校输送高素质的研究生生源。
培养今后能从事数学基础研究和教学的后备军。
二、培养规格和要求1.坚持四项基本原则，立志成为社会主义事业的建设者和接班人。
2.具有比较扎实的数学基础，受到严格的科学思维训练，初步掌握数学或统计科学的思想方法。
3.了解数学、计算科学与统计学的发展与应用前景，具有应用数学、计算科学或统计学知识，解决实际问题或专业教学的能力。
4.能熟练使用计算机（包括常用语言、工具及一些数学软件），具有一定的软件设计能力。
5.有较强的语言表达能力，掌握资料查询，文献索引以及运用现代信息技术获取相关信息的基本方法，具有一定的科学研究或教学研究能力。
6.具有健康的体魄和良好的心理素质，能胜任将来负担的工作。
三、授予学位修业年限：按要求完成学业者授予理学学士学位，学制四年。
、毕业总学分及课内总学时五、专业核心课程：数学分析、几何与代数、概率统计、常微分方程、复变函数、实变函数、泛函分析、代数学、微分几何、偏微分方程、高级语言程序设计、数据结构与算法等。
六、专^特色课程：国家及省级精品课程：数学分析校级重点课程：几何与代数、概率论校级精品课程：偏微分方程、现代常微分方程七、专业课程设置及教学计划（见附表一）八、辅修、双专业、双学位教学计划（见下文）附件表一：数学类课程设置及教学计划1 2013级《大学英语》课程将进行课程教学内容与教学模式改革，按12学分列入公共必修课板块。
2包含政治理论社会实践活动2个学分。
3包括技能18天，理论36学时。
—2—数学类课程设置及教学计划【学与应用学专业课程设置及教学计划说明：学生可跨类选修专业限选课中的A类和B类课程。
A类为理论性较强课程; B类为应用性较强课程。
信息与计算科学专业课程设置及教学计划说明：学生可跨类选修专业限选课中的A类和B类课程。
应用数学系研究生课程介绍(西安交通大学)
研究生课程介绍课程编码：091002课程名称：计算方法(A)Computational Methods (A)学分：3课内总学时数：72上机（实验）学时数：18课程内容简介：本课程讲授电子计算机上使用的各种基本的数值计算方法, 如插值法, 最小二乘法, 最佳一致逼近, 数值微积分, 方程求根法, 线性与非线性代数方程组解法, 矩阵特征值与特征向量求法, 常微分方程初值问题的解法, 求解数理方程定解问题的差分法, 有限元法等. 书中重点讨论了各种计算方法的构造原理和使用, 对稳定性, 收敛性, 误差估计等也作了适当讨论. 本课程适合于计算数学专业以外的理工科各专业研究生学习。
先修课：高等数学, 线性代数, C 语言或FORTRAN 语言参考书目：1. 邓建中,刘之行编, 计算方法，西安交通大学出版社，2002执笔人：梅立泉、李乃成、高静审定人：彭济根课程编码：091003课程名称：计算方法（B）Computational Methods (B)学分：3课内总学时数：54上机（实验）学时数：48课程内容简介：由于现代计算机技术的迅速发展，数值方法已成为科学研究的最重要的手段之一。
本课程在介绍数值计算的基本问题，包括浮点数、误差形成等的基础上，主要介绍：线性方程组的直接解法与迭代解法、离散数据的连续化处理（包括多项式插值、分段插值和最小二乘法）、数值积分和数值导数、非线性方程解法简介、常微分方程数值解法、以及最优化方法简介。
通过听课与相应的上机练习等途径，理解数值方法的形成原理，掌握最基本的数值方法，了解采用数值方法时应注意的主要问题，为以后在科研和工程技术工作中设计算法、应用数值软件进行数值计算奠定必要的基础。
先修课：高等数学、线性代数、算法语言（Fortran、C、C++、或Matlab 等）参考书目：1.凌永祥、陈明逵编，计算方法教程（第二版）西安交通大学出版社，2005执笔人：黄昌斌、苏剑、马军审定人：彭济根课程名称：工程优化方法及其应用Engineering Optimization Methods and Its Applications学分：2课内总学时数：40上机（实验）学时数：课程内容简介：讲述工程优化的数学基础，凸集、凸函数、凸规划的基本概念与基本理论；突出非线性规划各类算法的共性分析及其在计算机上可实现的步骤，并指出每类算法中所包含各种常用和著名算法；简介工程中常用到的几类特殊规划，如：线性规划、二次规划、几何规划和多目标规划的基本概念、常用和最新算法；简介工程优化设计应用实例（包括建立优化模型，根据模型特点构造或选用相适应的算法、计算流程图）。
统计学原理第1章 概论
第一章 统计总论
统计学的 研究对象
社会经济统计学的研究对象就是社会经济 现象的数量方面，包括数量特征和数量关系
例如：对我国人口状况进行研究
•人口构成情况怎么样？
•人口规模有多大？
•劳动力的就业情况怎么样？
）
Ａ、工业企业总数是统计总体 B、每一个工业企业是总体单位
Ｃ、固定资产总额是统计指标 D、机器台数是连续变量
Ｅ、职工人数是离散变量
单位标志：简称标志，指总体中所共同具有的属性和特征。 标志表现：标志的具体表现形式。
标志
品质标志：表明单位属性方面的特征。其表现只能是文字
数量标志：表明单位数量方面的特征，其表现是数值， 称为标志值。
例如：职业是品质标志，标志表现具体为工人、 公务员、商业 职工、教师等。 年龄是数量标志，标志表现具体为10岁、 20岁、30岁等。
• 日本地震死亡人数达1200人 数万人难确定 安全
中国国际救援队抵达日本
*发改委：3月28日起降低162种药价 为民省100亿 *1000万套保障房土地供应计划本月将编制完成 *上海房价均价跌破2万大关 触及近32周新低 *教育经费占GDP4%目标18年未实现 欠账超1.6万亿
我们该关注点什 么呢？
根据总体包括的范围不同和包含的内容不同，可分为大总体和小总体。 例如：乡人口是县人口的一部分，县人口是市人口的一部分；
例如： ①了解城镇居民生活状况，城镇全部居民就构成统计总体，城镇每一位居民 就是总体单位。 ②了解工业企业经营情况，全部工业企业就构成统计总体，每一个工业企业 就是总体单位。
单位标志与标志表现
统计学导论
统 计学
实践与理论关系
二、统计研究的基本环节
统计设计
统计调查、 实验 描述统计 推断统计
收集数据
整理与分析
资料积累 开发应用
• 描述统计(descriptive statistic)是用图形、表格和概括性
的数字对数据进行描述的统计方法.是对数据进行处理的第 一阶段,即用直观的图形、汇总的表格和概括性的数字(如平 均数)表示数据的分布、形状等特征,并为进一步的统计推断
STAT
甲
乙
1970年出生 30岁 1985年出生 15岁
二人年龄 之差：198龄之比：30÷15=2（倍） 1985÷1970=1.0076（倍）
STAT
温度
天气预报：沈阳：最高温度3℃，最低－7℃
大连：最高温度6℃，最低－2℃
两地最高温度相差3℃ 沈阳最低温度较大连最低温度低5℃
统计推断：就是利用样本数据对总体特征进 行估计或假设检验。
• 诺里斯公司制造用于各种电气产品上的高亮度灯泡。为增 加灯泡的使用寿命，该公司的产品设计小组开发了一种新 型的灯丝。在这个实例中，总体定义为：用这种灯丝生产 的确灯泡。为了评估新型灯丝的优点，生产了200个采用新
灯丝的灯泡，把它们作为样本并对之进行测试。
区分观察性研究和实验性研究
• 1.可口可乐罐被打开，饮料的量（以盎司计）被 测量。 • 2.通过记录新药对服药学生的影响来测试新药物 的统计疗效。 • 3.使用一个由完成了使用多媒体工具的课程的学 生组成的样本来对多媒体技术的效果进行测试 • 4.出于研究目的而未对梅毒患者施以能够使其痊 愈的治疗，这一做法引起了很多争议
统计学
( 48学时）
?
统计学是什么？
清华大学数学专业所学课程
数学科学系00420033 数学模型3学分48学时Mathematical Modelling建立数学模型是用数学方法解决实际问题的关键步骤。
本课程从日常生活的有趣问题入手，介绍数学模型的一般概念、方法和步骤，通过实例研究介绍一些用机理分析方法建立的非物理领域的模型及常用的建模数学方法，培养同学用建模方法分析和解决实际问题的意识和能力。
00420152 数学建模引论2学分32学时Introduction of Mathematical Modelling本课程以案例分析的方式组织教学，主要面向低年级的学生，各个学期根据对学生数学基础的不同要求，选择案例。
我们这里所选择的都是实际应用价值非常突出的案例。
00420163 数理科学与人文3学分48学时Mathematical and Physical Sciences and Humanities本课程旨在加强学生以通识教育为目标的思维和训练，提高学生的科学素质。
该课程虽然以知识为载体，却并不以传授理论知识为主要目的，而是以启迪思想，养成思考的习惯，以提升学生的创新意识。
00420172 数学与人类文明2学分32学时Mathematics and Civilization本课程不以讲述数学专门知识为目标，着重讲述数学发展对人类文明发展的地位、作用和影响，人类认识客观世界的能力，非数学专业学者如何理解和看待和欣赏数学。
10420095 微积分(1) 5学分80学时Calculus(1)内容包括：实数，函数，极限论，连续函数，导数与微分，微分中值定理，L'Hospital法则，极值与凸性，Taylor公式，不定积分与定积分，广义积分，积分应用，数项级数，函数级数，幂级数，Fourier级数。
10420115 微积分(2) 5学分80学时Calculus(2)n维空间中的距离、邻域、开集与闭集，多元函数的极限与连续，多元函数微分学，空间曲线与曲面，重积分、曲线与曲面积分、向量分析，常微分方程、初等积分法、高阶线性方程、线性常微分方程组。
《统计学概论2》课程教学大纲
统计学概论一、课程说明课程编号：046102课程性质：专业必修课适用专业：财经类统计学专业、管理类专业开设。
开课学期：一般可在第二学期开设。
学时与学分：课堂学时：32学时；上机实验：16学时；3学分。
先修课程：高等数学、西方经济学等相关课程。
二、开课目的统计学概论课程是国家教育部确定的高等院校财经类专业11门核心课程之一,是一门认识客观现象总体数量关系和方法论科学。
统计学是基于数据，利用统计理论与方法从数据中得到有关信息的分析工具，可用于经济、管理等各个研究领域。
统计学概论是财经类统计学专业的专业必修课，管理类专业的专业选修课。
通过本课程的学习，学生可以学到运用统计数据研究经济管理问题的实证分析技能，建立定性分析和定量分析相结合的研究思想；使学生能够比较系统地掌握统计学的基本理论、基本知识和基本方法，为进一步学习专业课及各分支学科打下基础。
通过本课程的学习，使学生明确统计的特点和作用，理解并记忆统计学的有关基本概念和范畴，掌握并能运用统计基本方法和技术，能进行统计设计，统计调查、统计整理和统计分析、以提高科学研究和实际工作能力。
设置本课程的总体目标是：1.使学生系统地掌握各种统计方法，并理解各种统计方法中所包含的统计思想。
2.使学生掌握各种统计方法的不同特点、应用条件及适用场合。
3.为进一步学习专业课程打好基础。
4.培养学生具有搜集数据、整理数据，运用统计分析方法，解决实际问题的能力。
使学生能够利用统计理论与方法解决经济管理及日常生活学习中的实际问题。
第三节指数体系一、总量指数与指数体系总量指数与各因素指数的关系。
指数体系的构成。
二、指数体系的分析与应用加权综合指数体系及其应用。
简单介绍加权平均指数体系及应用、平均指标指数体系及应用。
第四节几种常用的价格指数实际中常见的几种指数，如零售价格指数、消费价格指数、生产价格指数、股票价格指数等。
六、教学学时分配统计学概论教学环节与学时分配表七、推荐教材与参考书目（一）建议教材1.向蓉美、王青花主编的《统计学导论》（第二版）西南财经大学出版社出版，2008 年11月第1次印刷2.贾俊平编著的《统计学》（第二版），中国人民大学出版社出版，2006年9月第一次印（二）总参考书目1.曾五一、肖红叶主编，《统计学导论》，科学出版社2006年版。
概率论与数理统计课程标准
《概率论与数理统计》课程标准1.课程说明《概率论与数理统计》课程标准课程编码(37012)承担单位(师范学院)制定(张琦)制定日期(2018-11)审核O审核日期O批准O批准日期O(1)课程性质：本门课程是高等职业类数学教育专业必修的专业基础课。
概率论与数理统计是一门研究大量性随机现象的统计规律的一门数学学科，概率论是数理统计的基础，数理统计是概率论的一种应用。
随着科学技术的发展，概率论与数理统计在国民经济和所有科学技术领域都有广泛的应用，因此，概率论与数理统计已成为高等院校学生的必修课程。
本课程包括概率论与数理统计两部分，概率论部分是从数量关系角度研究自然界和社会生活中普遍存在的不确定现象，即随机现象的规律性，并为后续内容提供理论基础, 概率论的特点是根据问题提出相应的数学模型，然后去研究它们的性质、特征和规律性。
数理统计部分以概率论的理论为基础，利用对随机现象的观察或者试验所取得的数据资料，来研究数学模型，并对所研究对象的客观规律性作出合理的估计与判断。
(2)课程任务：主要针对中小学教师或者教学辅导机构老师等岗位开设，主要任务是培养学生在教学工作或者其他工作岗位的实际工作能力，通过对本课程的学习，使学生掌握概率论与数理统计的基本概念、基本理论及基本方法，使学生初步掌握处理随机现象的基本思想和方法，培养他们运用概率论与数理统计的方法去分析和解决有关实际问题的能力，并为今后学习后继课程打下必需的基础。
同时培养学生爱岗敬业思想，和团结协作精神。
(3)课程衔接：在课程设置上，前导课程有数学分析和高等代数。
2 .学习目标(一)总目标：通过对本课程的学习，使学生掌握概率论与数理统计的基本概念、基本理论及基本方法，使学生初步掌握处理随机现象的基本思想和方法，培养他们运用概率论与数理统计的方法去分析和解决有关实际问题的能力。
(二)分目标：(1)知识和技能目标通过本课程的学习，使学生了解和掌握概率论的基本概念、基本理论及基本方法，增进对数学的理解和兴趣，并能运用其理论与方法解决实际生活中的简单课题。
《统计学基础》课程标准
《统计学基础》课程标准《统计学基础》课程标准1．课程的性质与定位《统计学基础》是⼀门将基本的统计基础与⽅法运⽤到社会、经济、科学研究的各个领域以解决各学科的具体问题的课程。
该课程是⾼职教育财经⼤类专业重要的专业基础课，属于必修科⽬，是该类各专业课程体系中建⽴经济知识平台的重要组成部分。
课程教学服务于⾼职⾼专⼈才培养⽬标，坚持理论与实践结合，推⾏⼯学结合的⼈才培养模式，校企合作，坚持以学⽣应⽤能⼒为主线，培养学⽣能⽤所学的统计理论与⽅法解决实际经济或管理问题的综合应⽤能⼒。
该学习领域是为⾼职财经类专业的学⽣提供专门的数据搜集、处理及分析的统计⽅法,提⾼利⽤数据分析经济现象、把握经济动态、预测市场未来的分析和决策能⼒。
通过这个学习领域的教学，学⽣将掌握各种统计分析基本知识，学会利⽤Excel处理数据的各种统计分析⽅法，同时，把数据分析⽅法与所学专业知识相结合，分析经济问题、从事相关⼯作，奠定数量分析的基础；教师在该学习领域教学中，注重培养学⽣的职业道德；培养学⽣创新和团结协作的精神，对学⽣职业能⼒培养和职业素养养成起着主要的⽀撑作⽤。
2．与前后续课程关系本学习领域开设在第⼆学期，理实⼀体化教学学时42。
其前修课程为《计算机基础》、《⾼等数学》、《管理学基础》，这些课程为《统计学基础》课程提供了知识及技能上的准备；其后续开设的《营销与策划》、《财务管理》、《市场调查与分析》等等课专业课程，本课程为专业课程的学习和应⽤奠定了知识与技能基础。
3．设计理念基于⼯作过程整合、序化学习内容，与⾏业企业合作进⾏任务驱动、项⽬导向的课程开发与设计。
以学⽣为中⼼，以⼈才培养⽬标为导向，开展“做中学”、“学中做”，教、学、做、训、⾏结合，理论与实践⼀体化教学。
（1）以学会“⼯作”作为课程的培养⽬标；（2）以统计⼯作过程，作业流程为主线设计课程内容（3）以真实的统计⼯作任务过程为载体组织教学内容（4）融教学做于⼀体，学⽤结合的⼀体化教学⽅法，采⽤项⽬载体、任务驱动、情景模拟、现场实践等教学模式进⾏设计，突出对学⽣职业能⼒的培养（5）构建⽴体化教材，利⽤精品课程⽹络资源满⾜教学要求（6）以校内外教学基地为依托，真正实现⼯学结合教学模式4．设计思路该学习领域在设计过程中，以统计信息⾯临的调研⽅案设计、数据搜集⽅法、数据处理⽅法、各种统计分析⽅法、统计报告写作等内容来编写。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主讲人：李君宝
哈尔滨工业大学
1. 统计学习理论
2. 支持向量机 3. 核方法
1.统计学习理论
【机器学习问题的基本表示】
用三个部分来描述机器学习的一般模型： (1) 产生器(Generator)，产生随机向量x，它们是从固定但未知的概率 分布函数F(x) 中独立抽取的。 (2) 训练器(Supervisor)，对每个输入向量x返回一个输出值y，产生输 出的根据是同样固定但未知的条件分布函数F(y|x)。 (3) 学习机器(Learning Machine)，能够实现一定的函数集.
5
【统计学习方法概述】
近百年来，统计学得到极大的发展。我们可用下面的框 架粗略地刻划统计学发展的过程： 1900-1920 数据描述 1920-1940 统计模型的曙光 1940-1960 数理统计时代 – 随机模型假设的挑战 – 松弛结构模型假设 1990-1999 建模复杂的数据结构
• • •
8
【风险】
• 学习机LM输出
ˆ 与输入x之间可以看作是一个函数关系： y
ˆ f x y
• 一般要将函数 f x 限定在特定一组函数 f x, w 中求取。 • 定义风险： L y, f x, w • 均方误差： L y, f x, w y f x, w • 似然函数： L p x, w ln p x, w
1 Remp w L yi , f xi , w n i 1
• 求取最优参数w*，使得经验风险Remp(w*)最小。 • 当学习过程具有一致性时，统计学有如下关系：
n
lim P sup Remp w R w 0, 0
n w
【统计学习理论的核心思想】
• 学习的目标在于推广:
期望风险最小 <-->推广能力最大
• 有限样本条件下，学习机器的推广性取决于两个因素：
–经验风险（学习误差） –函数集的复杂性（容量）
【VC维】
• 打散：如果存在一个有h个样本的样本集能够被一个函数集 中的函数按照所有可能的2h种形式分为两类，则称函数集 能够将样本数为h的样本集打散；
【期望风险与经验风险的关系】
期望风险R(w*) R(w*) 经验风险Remp(w*)
Remp w R w
n
【函数集的VC维与推广性的界】
• 统计学习的推广能力不仅同训练样本数n有关系， 而且同学习机的函数集选择有关系，“简单”函 数集合推广能力强，“复杂”函数集合推广能力 差。
• • 统计学习理论 • –系统地研究有限样本下机器学习的原理与方法的理论 • – 始于1960s：
【统计学习的基本内容】
• ERM学习过程一致的充分必要条件是什么？ – 当样本无穷多时，经验风险最小的解是否收敛与期望风险最 小的解，条件是什么 • 学习过程收敛的速度有多快？ – 随着样本数目的增加，这种收敛的速度有多快 • 如何控制学习过程的收敛速度（推广能力）？ – 新的学习原理：如何设计学习机器才能得到更快的收敛速 度，即有限样本下更好的推广能力 • 怎样构造能够控制推广能力的算法？ –新的学习算法：在理论和原则下的实用学习方法：
• 传统方法: 统计学在解决机器学习问题中起着基础 性的作用。传统的统计学所研究的主要是渐近理论 ，即当样本趋向于无穷多时的统计性质。统计方法 主要考虑测试预想的假设和数据模型拟合。它依赖 于显式的基本概率模型。 模糊集
粗糙集
•
•
•
支持向量机
7
【统计学习方法概述】
系统S为研究对象，通过一系列的观 测样本来求得学习机LM，使得LM 的输出 能够尽量准确的预测S的输
输入 x 系统（S）
输出 y
学习机（LM）
ˆ 预测输出 y
出y。(x1,y1)，(x2,y2)，…，(xn,yn)
【统计学习方法概述】
统计方法是从事物的外在数量上的表现去推断该事物 可能的规律性。科学规律性的东西一般总是隐藏得比较深 ，最初总是通过其数量表现并由统计分析看出一些线索， 然后提出一定的假说或学说，作进一步深入的理论研究。 当理论研究 提出一定的结论时，往往还需要在实践中加以 验证。就是说，观测一些自然现象或专门安排的实验所得 资料，是否与理论相符、在多大的程度上相符、偏离可能 是朝哪个方向等问题，都需要用统计分析的方法处理。
2
【期望风险】
• y与x之间存在一定的依赖关系，可以用一个未 知的联合概率F(x,y)描述。 • 期望风险定义为：
R w L y, f x, w dF x, y
• 统计学习的目的就是要寻找到一个最优的函数 f(x,w*)，使得R(w*)最小。
【经验风险】
• 期望风险一般来说无法计算，在工程上转而计算 经验风险：
统计方法处理过程可以分为三个阶段： • （1）搜集数据：采样、实验设计
•
•
（2）分析数据：建模、知识发现、可视化
（3）进行推理：预测、分类
常见的统计方法有:
回归分析（多元回归、自回归等） 判别分析（贝叶斯判别、费歇尔判别、非参数判别等） 聚类分析（系统聚类、动态聚类等） 探索性分析（主元分析法、相关分析法等）等。
VC维：如果函数集能够打散h个样本的样本集，而不能打散 h+1个样本的样本集，则称函数集的VC维为h。 1. d维空间中线性函数的VC维：h = d+1； 2. 正弦函数集合{sin(wx)}的VC维：h = ∞。
【推广性的界】
• 函数集合的VC维描述了函数的复杂程度，利用VC 维可以确定推广性的界，下列不等式右半部分至少 以概率1-h成立：
• 当函数集过于“复杂”时，很容易产生“过学习 ”现象：对于训练样本风险很小，而对非训练样 本风险却很大。
【过学习】
经验风险最小化≠ 期望风险最小化（错误率最小化） 学习机器的复杂性不但与问题背后的模型有关，还要与有限的 学习样本相适应.
【统计学习的起源】
• 基于传统统计学的机器学习/模式识别方法的局限 • –传统统计学研究的主要是渐进特性 • –传统模式识别方法多直接或间接假设样本充分多