chapter8ppt机器学习与Python实践
合集下载
Python程序设计进阶：数据分析与机器学习实践培训课件
面向对象编程的概念
面向对象编程是一种程序设计范型，它使用“对象”来设计软件和应用程序。对象由数据和可以对这些数据执行的操 作组成。
类和对象的创建
在Python中，可以使用class关键字定义一个类，类定义了对象的属性和方法。创建对象是通过使用类来实例化一个 对象的过程。
继承和多态
继承是面向对象编程中的一个重要概念，它允许创建一个新类，继承现有类的属性和方法。多态是另一 个面向对象编程的概念，它允许使用不同的数据类型和对象以统一的方式进行操作。
打开文件
读取文件内容
写入文件内容
在Python中，可以使用内置的open() 函数打开文件，并返回一个文件对象 。打开文件时，需要指定文件名和打 开模式（如只读、写入等）。
使用文件对象的read()方法可以读取 文件的内容。read()方法可以读取整 个文件的内容，也可以一次读取一行 或一段内容。
使用文件对象的write()方法可以将数 据写入文件。write()方法将数据作为 字符串写入文件。写入完成后，需要 使用close()方法关闭文件。
详细描述
Python基础语法包括变量和数据类型（如整型、浮点型、字符串、列表、元组 、字典和集合等），以及控制流（如条件语句和循环语句）。此外，还需要掌握 函数的定义和调用，以及参数传递方式（按值传递和按引用传递）。
Python数据类型
总结词
Python数据类型是Python中用于存储不同类型数据的工具，每种数据类型都有其特定的属性和方法 。
监督学习是从已有的训练数据集 （带有标签）中学习模型，以便 对新的输入数据（未带标签）进 行预测或分类。
监督学习算法
支持向量机、逻辑回归、决策树 、随机森林、梯度提升等。
面向对象编程是一种程序设计范型，它使用“对象”来设计软件和应用程序。对象由数据和可以对这些数据执行的操 作组成。
类和对象的创建
在Python中，可以使用class关键字定义一个类，类定义了对象的属性和方法。创建对象是通过使用类来实例化一个 对象的过程。
继承和多态
继承是面向对象编程中的一个重要概念，它允许创建一个新类，继承现有类的属性和方法。多态是另一 个面向对象编程的概念，它允许使用不同的数据类型和对象以统一的方式进行操作。
打开文件
读取文件内容
写入文件内容
在Python中，可以使用内置的open() 函数打开文件，并返回一个文件对象 。打开文件时，需要指定文件名和打 开模式（如只读、写入等）。
使用文件对象的read()方法可以读取 文件的内容。read()方法可以读取整 个文件的内容，也可以一次读取一行 或一段内容。
使用文件对象的write()方法可以将数 据写入文件。write()方法将数据作为 字符串写入文件。写入完成后，需要 使用close()方法关闭文件。
详细描述
Python基础语法包括变量和数据类型（如整型、浮点型、字符串、列表、元组 、字典和集合等），以及控制流（如条件语句和循环语句）。此外，还需要掌握 函数的定义和调用，以及参数传递方式（按值传递和按引用传递）。
Python数据类型
总结词
Python数据类型是Python中用于存储不同类型数据的工具，每种数据类型都有其特定的属性和方法 。
监督学习是从已有的训练数据集 （带有标签）中学习模型，以便 对新的输入数据（未带标签）进 行预测或分类。
监督学习算法
支持向量机、逻辑回归、决策树 、随机森林、梯度提升等。
Python机器学习
1. 将权重参数初始化为0或者很小的随机数。 1. 对于每一个训练集样本 ,执行下面的步骤：
10
透过人工神经元一窥早期机器学习历史
1、计数输出值 2、更新权重参数.
.
此处的输出值就是单位阶跃函数预测的类别(1,-1)，参数向量 中的每个 数学语言表示为：
的更新过程可以用
其中
，用于更新权重
,在感知机算法中的计算公式为:
挪到等式左边并且额外定
下面左图描述了感知机的激活函数怎样将网络输入 了感知机如何区分两个线性可分的类别。
压缩到二元输出(-1,1)，右图描述
不论MCP神经元还是Rosenblatt的阈值感知机模型，他们背后的idea都是试图使用简单的方法 来模拟大脑中单个神经元的工作方式：要么传递信号要么不传递。因此，Rosenblatt最初的感 知机规则非常简单，步骤如下：
其中 之间的常数，
称为学习率(learning rate), 是一个介于0.0和1.0 是对第i个训练样本的预测类别。 权重向量 计算出来以前不会重新计算
是第i个训练样本的真实类别，
中的每一个参数w_{j}是同时被更新的，这意味着在所有的 (译者注：通俗地说，我们在计算出一个
，然后同时更新w中的每一个权重参数；然后不
2
理解sklearn中estimator的API 处理分类数据 将数据集分割为训练集和测试集 统一特征取值范围 选择有意义的特征 利用随机森林评估特征重要性 总结 第五章 通过降维压缩数据 PCA进行无监督降维 聊一聊方差 特征转换 LDA进行监督数据压缩 原始数据映射到新特征空间 使用核PCA进行非线性映射 用Python实现核PCA 映射新的数据点 sklearn中的核PCA 总结 第六章 模型评估和调参 通过管道创建工作流 K折交叉验证评估模型性能 使用学习曲线和验证曲线 调试算法 通过网格搜索调参 通过嵌套交叉验证选择算法 不同的性能评价指标 第七章 集成学习 集成学习 结合不同的分类算法进行投票
python快速入门教程ppt课件
安装Python
运行下载的安装包，按照提示进行安装。确保在安装过程中勾选“Add Python to PATH”选 项，以便在命令行中方便地使用Python。
验证安装
安装完成后，打开命令行界面，输入“python --version”命令，如果显示Python的版本号， 则说明Python已经成功安装并配置。
02
Python语言应用
Python在Web开发、科学计算、人工智能 等多个领域都有广泛的应用。
03
Python语言发展
Python语言自1991年诞生以来，经过多次 版本更新，已经成为世界上最流行的编程 载Python
访问Python官方网站，下载适合自己操作系统的Python安装包。
数字类型
整数类型
整数类型包括正整数、负整数和 零，如1、-2、0等。
浮点数类型
浮点数类型包括正浮点数、负浮 点数和零，如1.2、-3.4、0.0等。
复数类型
复数类型包括实部和虚部，如 1+2j、-3-4j等。
字符串类型
定义
字符串是Python中最常用的数据类型之一，用于表示文本数据。
创建
可以通过单引号、双引号或三引号来创建字符串。
Python基本语法
变量和数据类型
介绍Python中的变量和数据类 型，如整数、浮点数、字符串、
列表、元组、字典等。
控制结构
介绍Python中的控制结构，如if 语句、for循环、while循环等。
函数和模块
介绍Python中的函数和模块， 如定义函数、调用函数、导入模
块等。
Python数据类型
03
访问列表元素
可以使用索引来访问列表中的元 素，索引从0开始，例如：
运行下载的安装包，按照提示进行安装。确保在安装过程中勾选“Add Python to PATH”选 项，以便在命令行中方便地使用Python。
验证安装
安装完成后，打开命令行界面，输入“python --version”命令，如果显示Python的版本号， 则说明Python已经成功安装并配置。
02
Python语言应用
Python在Web开发、科学计算、人工智能 等多个领域都有广泛的应用。
03
Python语言发展
Python语言自1991年诞生以来，经过多次 版本更新，已经成为世界上最流行的编程 载Python
访问Python官方网站，下载适合自己操作系统的Python安装包。
数字类型
整数类型
整数类型包括正整数、负整数和 零，如1、-2、0等。
浮点数类型
浮点数类型包括正浮点数、负浮 点数和零，如1.2、-3.4、0.0等。
复数类型
复数类型包括实部和虚部，如 1+2j、-3-4j等。
字符串类型
定义
字符串是Python中最常用的数据类型之一，用于表示文本数据。
创建
可以通过单引号、双引号或三引号来创建字符串。
Python基本语法
变量和数据类型
介绍Python中的变量和数据类 型，如整数、浮点数、字符串、
列表、元组、字典等。
控制结构
介绍Python中的控制结构，如if 语句、for循环、while循环等。
函数和模块
介绍Python中的函数和模块， 如定义函数、调用函数、导入模
块等。
Python数据类型
03
访问列表元素
可以使用索引来访问列表中的元 素，索引从0开始，例如：
机器学习与深度学习的应用与实际操作的培训ppt
决策树
总结词
决策树是一种监督学习算法，用于分类和回归问题。
详细描述
决策树通过递归地将数据集划分为更小的子集来构建树结构。每个内部节点表 示一个特征的测试，每个分支代表一个测试结果，每个叶节点表示一个类标签 或一个数值预测。
支持向量机
总结词
支持向量机是一种分类和回归算法，它试图找到一个超平面以分隔两个类别的数 据点。
深度学习
深度学习是机器学习的一种，它 使用神经网络模型来模拟人类大 脑的工作方式，通过训练大量的 数据来提高模型的准确性。
机器学习与深度学习的关系
01
深度学习是机器学习的一个分支 ，它使用神经网络模型来处理复 杂的数据和问题，如图像、语音 和自然语言处理等。
02
深度学习的出现和发展，使得机 器学习的应用范围和性能得到了 极大的提升，成为了人工智能领 域的重要支柱。
Keras框架基础
总结词
Keras是一个基于Python的高级神经网络API，适合快速 原型设计和开发。
详细描述
Keras是一个用户友好、模块化的神经网络库，能够运行 在TensorFlow等后端框架之上。通过Keras，用户可以 方便地构建各种神经网络模型，而无需深入了解底层细 节。Keras提供了丰富的模型构建工具和灵活的API，使 得神经网络的开发和训练变得简单高效。
推荐系统
深度学习可以用于构建推荐系 统，根据用户的历史行为和偏 好，为其推荐感兴趣的内容或
产品。
02
机器学习与深度学习基础
线性回归
总结词
线性回归是一种通过找到最佳拟合直 线来预测连续值的方法。
详细描述
线性回归通过最小化预测值与实际值 之间的平方误差来找到最佳拟合直线 。它通常用于预测连续值，如房价、 销售量等。
机器学习与深度学习的应用与实际操作的培训ppt
通过找到能够将不同类别 数据点最大化分隔的超平 面，解决二分类问题。
非监督学习算法与应用
K-均值聚类
通过将数据点分组为K个聚 类，使得同一聚类内的数 据点相互接近，不同聚类 间的数据点相互远离。
层次聚类
通过建立树状图来展示数 据点之间的层次关系，用 于找出数据点之间的相似 性和差异性。
主成分分析
通过将多个特征变量转化 为少数几个综合变量，降 低数据的维度，同时保留 其主要信息。
技术挑战与解决方案探讨
数据稀疏性与偏差
在某些领域，由于数据稀疏性和偏差，模型预测的准确性 可能会受到影响。解决方案包括采用迁移学习、合成数据 等技术。
计算资源限制
对于大规模数据集和复杂模型，计算资源可能成为瓶颈。 解决方案包括采用分布式计算、GPU加速等技术。
可解释性与透明度
深度学习模型往往缺乏可解释性和透明度，这可能导致信 任问题。解决方案包括采用可解释性技术和可视化工具。
强化学习算法与应用
Q-学习
通过建立一个Q表来记录每个状态下 采取不同行动所带来的奖励和惩罚， 从而选择最优行动。
Sarsa算法
Deep Q Network
将Q-学习与深度学习相结合，使用神 经网络来估计
与Q-学习类似，但使用了一个单独的 参数来更新Q值，而不是整个Q表。
着广泛的应用。
04
机器学习与深度学习的实际操作 培训
数据预处理与特征工程
数据清洗
去除异常值、缺失值和重复值，确保数据质量。
特征选择
选择与目标变量相关的特征，去除无关特征。
特征工程
对特征进行转换、归一化、标准化等操作，提高 模型性能。
模型训练与调优
模型选择
根据数据特点和问题类型选择合适的机器学习或深度学习模型。
非监督学习算法与应用
K-均值聚类
通过将数据点分组为K个聚 类，使得同一聚类内的数 据点相互接近，不同聚类 间的数据点相互远离。
层次聚类
通过建立树状图来展示数 据点之间的层次关系，用 于找出数据点之间的相似 性和差异性。
主成分分析
通过将多个特征变量转化 为少数几个综合变量，降 低数据的维度，同时保留 其主要信息。
技术挑战与解决方案探讨
数据稀疏性与偏差
在某些领域，由于数据稀疏性和偏差，模型预测的准确性 可能会受到影响。解决方案包括采用迁移学习、合成数据 等技术。
计算资源限制
对于大规模数据集和复杂模型，计算资源可能成为瓶颈。 解决方案包括采用分布式计算、GPU加速等技术。
可解释性与透明度
深度学习模型往往缺乏可解释性和透明度，这可能导致信 任问题。解决方案包括采用可解释性技术和可视化工具。
强化学习算法与应用
Q-学习
通过建立一个Q表来记录每个状态下 采取不同行动所带来的奖励和惩罚， 从而选择最优行动。
Sarsa算法
Deep Q Network
将Q-学习与深度学习相结合，使用神 经网络来估计
与Q-学习类似，但使用了一个单独的 参数来更新Q值，而不是整个Q表。
着广泛的应用。
04
机器学习与深度学习的实际操作 培训
数据预处理与特征工程
数据清洗
去除异常值、缺失值和重复值，确保数据质量。
特征选择
选择与目标变量相关的特征，去除无关特征。
特征工程
对特征进行转换、归一化、标准化等操作，提高 模型性能。
模型训练与调优
模型选择
根据数据特点和问题类型选择合适的机器学习或深度学习模型。
Python深度学习实战——基于Pytorch全书电子教案完整版ppt整套教学课件最全教学教程
来自于更多的数据。
可解释性
◦ 人工参与程度的降低带来的另一个问题是模型的可解
释性越来越低。在理想状况下，如果系统非常有效，
人们根本不需要关心黑盒系统的内部构造，但事实是
自然语言处理系统的状态离完美还有相当的差距。
自然语言处理的发展趋势
从传统方法和神经网络方法的对比中，可以
看出自然语言处理的模型和系统构建是向着
始的输入图像（RGB三个通道）可以得到256个通道的feature
map，因为有256个卷积和，每个卷积和代表一种统计抽象的方
式。
现代深度学习的过程
池化操作。池化操作在统计上的概念更明确，就是一个
对一个小区域内求平均值或者求最大值的统计操作。带
来的结果是，如果之前输入有两个通道的，或者256通道
◦ 强化学习的应用范围非常广泛，各领域对它的研
究重点各有不同。
Байду номын сангаас
强化学习
强化学习与监督学习和非监督学习
◦ 监督学习是通过带有标签
或对应结果的样本训练得
到一个最优模型，再利用
这个模型将所有的输入映
射为相应的输出，以实现
分类。
◦ 非监督学习是在样本的标
签未知的情况下，根据样
本间的相似性对样本集进
行聚类，使类内差距最小
引擎则对候选新闻进行排序，最终给用户推出新闻，如此往
复，直到用户关闭 app，停止浏览新闻。
◦ 将用户持续浏览新闻的推荐过程看成一个决策过程，就可以
通过强化学习学习每一次推荐的最佳策略，从而使得用户从
开始打开 app 开始到关闭 app 这段时间内的点击量最高。
◦ AlexNet是基于LeNet的改进，它可以被看作
可解释性
◦ 人工参与程度的降低带来的另一个问题是模型的可解
释性越来越低。在理想状况下，如果系统非常有效，
人们根本不需要关心黑盒系统的内部构造，但事实是
自然语言处理系统的状态离完美还有相当的差距。
自然语言处理的发展趋势
从传统方法和神经网络方法的对比中，可以
看出自然语言处理的模型和系统构建是向着
始的输入图像（RGB三个通道）可以得到256个通道的feature
map，因为有256个卷积和，每个卷积和代表一种统计抽象的方
式。
现代深度学习的过程
池化操作。池化操作在统计上的概念更明确，就是一个
对一个小区域内求平均值或者求最大值的统计操作。带
来的结果是，如果之前输入有两个通道的，或者256通道
◦ 强化学习的应用范围非常广泛，各领域对它的研
究重点各有不同。
Байду номын сангаас
强化学习
强化学习与监督学习和非监督学习
◦ 监督学习是通过带有标签
或对应结果的样本训练得
到一个最优模型，再利用
这个模型将所有的输入映
射为相应的输出，以实现
分类。
◦ 非监督学习是在样本的标
签未知的情况下，根据样
本间的相似性对样本集进
行聚类，使类内差距最小
引擎则对候选新闻进行排序，最终给用户推出新闻，如此往
复，直到用户关闭 app，停止浏览新闻。
◦ 将用户持续浏览新闻的推荐过程看成一个决策过程，就可以
通过强化学习学习每一次推荐的最佳策略，从而使得用户从
开始打开 app 开始到关闭 app 这段时间内的点击量最高。
◦ AlexNet是基于LeNet的改进，它可以被看作
Python语言实验最全课件整套ppt教学课件完整版教学教程全套电子讲义讲义(最新)
二、实验内容
1 程序填空 1.1已知y=1+1/3+1/5+…+1/2n-1，求y<3时的最大n值以及最大n值对应的y值(y值保留小数点 后2位)。请将未完成的部分填入，实现其功能，并在计算机上调试程序，以测试填入的部 分是否正确。
参考答案： (1) sum<3: (2) sum-1/(2*n-1) (3) (“%d,%.2f”%(n,sum))
参考答案：
二、实验内容
2．答案：
二、实验内容
2．程序设计 2.4 一个停车场的标准收费是3小时之内收5元，超过3小时，每增加1小时加收2元；如果时 间不是整数，按比例收取，例如：如果输入为3.6小时，则费用为5 + (3.6-3)*2 = 6.2 元。最 高收费为40元。假设任何车辆的停车时间都不超过24小时。编写程序，计算每辆车的停车 费，结果保留小数点后2位。
C = ( F – 32 ) / 1.8 F = C * 1.8 + 32
参考答案： (1) float(T[0:1]*1.8+32) (2) T[-1] in ["F","f"]: (3) print("The converted temperature is %.1fC"%C)
二、实验内容
1 程序填空 1.4 我国的婚姻法规定，男性22岁为合法结婚年龄，女性20岁为合法结婚年龄。编写程序 判断一个人是否到了合法结婚年龄，并输出判断结果：“Yes”或“No”或"Error"。
参考答案： (1) (1,321//17+1): (2) (1.321//27+1): (3) 321-17*a-27*b
机器学习与深度学习的应用与实际操作的培训ppt
使用选定模型对数据进行训练，得 到预测模型。
验证模型
在验证集上评估模型的性能，以确 保模型泛化能力。
模型评估与调优
评估指标选择
根据问题类型选择合适的评估指 标，如准确率、召回率、F1值等
。
模型性能比较
将新模型与其他基线模型进行比 较，以评估其性能优劣。
模型调优
根据评估结果对模型进行调优， 以提高其性能表现。
详细描述
语音识别技术广泛应用于智能助手、 语音搜索、语音翻译等领域。通过训 练模型对大量语音数据进行学习，实 现对人类语音的准确识别和转写。
自然语言处理
总结词
自然语言处理是让计算机理解和处理人类自然语言的技术。
详细描述
自然语言处理在机器翻译、情感分析、问答系统等领域有广泛应用。通过训练 模型对大量文本数据进行学习，实现对自然语言的语义理解、分析和生成。
深度学习 深度学习是机器学习的一种，它使用神经网络模型进行 学习。深度学习模型具有多层隐藏层，能够从原始数பைடு நூலகம் 中提取抽象特征。
机器学习与深度学习的关系
深度学习是机器学习的一个分支，它利用神经网络模型 进行高度复杂的模式识别和预测。
深度学习在图像识别、语音识别、自然语言处理等领域 取得了显著成果，而机器学习涵盖的范围更广，包括监 督学习、无监督学习、强化学习等。
推荐系统
总结词
推荐系统是利用机器学习算法对用户行为和喜好进行分析，以实现个性化推荐的 技术。
详细描述
推荐系统广泛应用于电子商务、在线视频、音乐等领域。通过训练模型对用户行 为和喜好进行学习，实现精准的个性化推荐，提高用户满意度和黏性。
预测模型
总结词
预测模型是利用机器学习算法对历史数据进行分析，以实现 对未来趋势和结果的预测。
验证模型
在验证集上评估模型的性能，以确 保模型泛化能力。
模型评估与调优
评估指标选择
根据问题类型选择合适的评估指 标，如准确率、召回率、F1值等
。
模型性能比较
将新模型与其他基线模型进行比 较，以评估其性能优劣。
模型调优
根据评估结果对模型进行调优， 以提高其性能表现。
详细描述
语音识别技术广泛应用于智能助手、 语音搜索、语音翻译等领域。通过训 练模型对大量语音数据进行学习，实 现对人类语音的准确识别和转写。
自然语言处理
总结词
自然语言处理是让计算机理解和处理人类自然语言的技术。
详细描述
自然语言处理在机器翻译、情感分析、问答系统等领域有广泛应用。通过训练 模型对大量文本数据进行学习，实现对自然语言的语义理解、分析和生成。
深度学习 深度学习是机器学习的一种，它使用神经网络模型进行 学习。深度学习模型具有多层隐藏层，能够从原始数பைடு நூலகம் 中提取抽象特征。
机器学习与深度学习的关系
深度学习是机器学习的一个分支，它利用神经网络模型 进行高度复杂的模式识别和预测。
深度学习在图像识别、语音识别、自然语言处理等领域 取得了显著成果，而机器学习涵盖的范围更广，包括监 督学习、无监督学习、强化学习等。
推荐系统
总结词
推荐系统是利用机器学习算法对用户行为和喜好进行分析，以实现个性化推荐的 技术。
详细描述
推荐系统广泛应用于电子商务、在线视频、音乐等领域。通过训练模型对用户行 为和喜好进行学习，实现精准的个性化推荐，提高用户满意度和黏性。
预测模型
总结词
预测模型是利用机器学习算法对历史数据进行分析，以实现 对未来趋势和结果的预测。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i=1
第八章 统计推断基础
.
.
.
.
.
人民邮电出版社
.
8 / 49
目录
置信区间和假设检验
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 9 / 49
第八章 统计推断基础
机器学习与 python 实践
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 1 / 49
统计推断基础
统计学是机器学习的基础学科之一 统计学的范式和主要方法 机器学习的发展促进统计学的理论发展和应用
关注统计学中与机器学习关系较大的部分内容
机器学习与 python 实践 ()
置信区间
置信区间和假设检验 置信区间
是一种区间估计，给出了该区间包含未知参数的置信水平。
包括一个上界和一个下界。 上界和下界是两个统计量（统计量是随机样本的函数，不含未知参数，也 是随机变量）。
因此置信区间是随机区间 而由观测数据得到的置信区间估计是置信区间的一次抽样。
机器学习与 python 实践 ()
假设检验中存在原假设 H0 和对立假设 Ha，例如在极大似然估计中， H0 : θ = θ0，Ha : θ ̸= θ0。
原假设与对立假设可以类比于二分类问题的阴性和阳性。
在很多案例中，与二分类问题类似，原假设代表一个相对好的情形（例如 无疾病，无罪，风险小），而对立假设代表一个不好的情形（有疾病，有 罪，风险大）。
ℓ(β)
=
∏N log
i=1
1 √
2πσ2
exp
( 1
− 2σ2
(yi
−
) xTi β)2
=
−n
√ log( 2πσ2)
−
1 2σ2
∑ N (yi
i=1
−
xTi β)2
回归系数 β 的极大似然估计等同于最小二乘估计
机器学习与 python 实践 ()
∑ N βˆ = arg min (yi − xTi β)2
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 12 / 49
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 2 / 49
目录
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 3 / 49
目录
极大似然估计
θˆmle
−
z1−α/2
√1 NI(θ)
<
θ0
<
θˆmle
+
z1−α/2
√1 NI(θ)
简记 θˆ = θˆmle，我们使用 I(θˆ) 作为 I(θ0) 的估计，可以得到参数 θ0 的 1 − α 置信区间
(
√
√)
θˆmle − z1−α/2/ NI(θˆ), θˆmle + z1−α/2/ NI(θˆ)
√ 当 α = 0.05 时，参数 θ 的 95% 置信区间是 θˆmle ± 1.96/ NI(θˆ)。
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
人民邮电出版社
.
11 / 49
假设检验
置信区间和假设检验 假设检验
假设检验是统计推断的重要内容，在一定意义上跟置信区间有等价性。
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 4 / 49
极大似然估计
极大似然估计
极大似然估计是基于似然函数并求极值的一种重要的统计方法。 假设观测数据是 x = (x1, · · · , xN)，则在独立同分布假设下密度函数
∑ N θˆmle = arg max log l(θ|Xi)
i=1
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 6 / 49
极大似然估计性质
极大似然估计
相合性：假设观测数据 x 由真实密度函数 f(x|θ0) 产生，相合性指 MLE 依 概率收敛到真值，θˆmle −P→ θ0。
极大似然估计
极大似然估计
极大似然估计：寻找参数 θ, 使得观log(x) 是单调函数，等价于求
∑ N ℓ(θ|x) = log L(θ|x) = log l(θ|xi)
i=1
的极大值。 即参数 θ 的极大似然估计量 θˆmle
渐近有效性：在满足一定条件的情形下，MLE 的极限分布依分布收敛到
一个正态分布
√N(θˆmle
−
θ0)
−D→
N
( 0,
I(θ0)−1)
其中，I(θ) 是 Fisher 信息量（或信息矩阵），
I(θ)
=
E ( ∂l(θ|X) )2 ∂θ
=
−E
( ∂2l(θ|X) ) ∂θ2
Cramer-Rao 定理证明了 Fisher 信息量的逆 I(θ)−1 是 θ0 所有无偏估计的 方差下界，由此我们知道极大似然估计量在样本量趋于无穷的时候可以达 到方差下界，也称为渐近有效。
∏N f(x|θ) = f(xi|θ)，对应的似然函数
i=1
∏N L(θ|x) = l(θ|xi),
i=1
其中 l(θ|x) = f(x|θ)。 * 即在不同的模型参数下，观测值 (x1, · · · , xn) 发生的概率密度。
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 5 / 49
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 7 / 49
极大似然估计
正态回归的极大似然估计
假设观测数据 (xi, yi), i = 1, · · · , N 来自线性回归模型 Y = xTβ + ϵ
其中，ϵ 是随机误差项，满足 ϵ ∼ N(0, σ2)。我们可以写出似然函数
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 10 / 49
置信区间和假设检验 置信区间
极大似然估计量的置信区间
√ 令 ZN = NI(θ0)(θˆmle − θ0)，可以近似看成一个正态分布。
P(zα/2 < ZN < z1−α/2) = 1 − α
由于 zα/2 < ZN < z1−α/2 等价于
第八章 统计推断基础
.
.
.
.
.
人民邮电出版社
.
8 / 49
目录
置信区间和假设检验
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 9 / 49
第八章 统计推断基础
机器学习与 python 实践
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 1 / 49
统计推断基础
统计学是机器学习的基础学科之一 统计学的范式和主要方法 机器学习的发展促进统计学的理论发展和应用
关注统计学中与机器学习关系较大的部分内容
机器学习与 python 实践 ()
置信区间
置信区间和假设检验 置信区间
是一种区间估计，给出了该区间包含未知参数的置信水平。
包括一个上界和一个下界。 上界和下界是两个统计量（统计量是随机样本的函数，不含未知参数，也 是随机变量）。
因此置信区间是随机区间 而由观测数据得到的置信区间估计是置信区间的一次抽样。
机器学习与 python 实践 ()
假设检验中存在原假设 H0 和对立假设 Ha，例如在极大似然估计中， H0 : θ = θ0，Ha : θ ̸= θ0。
原假设与对立假设可以类比于二分类问题的阴性和阳性。
在很多案例中，与二分类问题类似，原假设代表一个相对好的情形（例如 无疾病，无罪，风险小），而对立假设代表一个不好的情形（有疾病，有 罪，风险大）。
ℓ(β)
=
∏N log
i=1
1 √
2πσ2
exp
( 1
− 2σ2
(yi
−
) xTi β)2
=
−n
√ log( 2πσ2)
−
1 2σ2
∑ N (yi
i=1
−
xTi β)2
回归系数 β 的极大似然估计等同于最小二乘估计
机器学习与 python 实践 ()
∑ N βˆ = arg min (yi − xTi β)2
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 12 / 49
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 2 / 49
目录
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 3 / 49
目录
极大似然估计
θˆmle
−
z1−α/2
√1 NI(θ)
<
θ0
<
θˆmle
+
z1−α/2
√1 NI(θ)
简记 θˆ = θˆmle，我们使用 I(θˆ) 作为 I(θ0) 的估计，可以得到参数 θ0 的 1 − α 置信区间
(
√
√)
θˆmle − z1−α/2/ NI(θˆ), θˆmle + z1−α/2/ NI(θˆ)
√ 当 α = 0.05 时，参数 θ 的 95% 置信区间是 θˆmle ± 1.96/ NI(θˆ)。
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
人民邮电出版社
.
11 / 49
假设检验
置信区间和假设检验 假设检验
假设检验是统计推断的重要内容，在一定意义上跟置信区间有等价性。
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 4 / 49
极大似然估计
极大似然估计
极大似然估计是基于似然函数并求极值的一种重要的统计方法。 假设观测数据是 x = (x1, · · · , xN)，则在独立同分布假设下密度函数
∑ N θˆmle = arg max log l(θ|Xi)
i=1
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 6 / 49
极大似然估计性质
极大似然估计
相合性：假设观测数据 x 由真实密度函数 f(x|θ0) 产生，相合性指 MLE 依 概率收敛到真值，θˆmle −P→ θ0。
极大似然估计
极大似然估计
极大似然估计：寻找参数 θ, 使得观log(x) 是单调函数，等价于求
∑ N ℓ(θ|x) = log L(θ|x) = log l(θ|xi)
i=1
的极大值。 即参数 θ 的极大似然估计量 θˆmle
渐近有效性：在满足一定条件的情形下，MLE 的极限分布依分布收敛到
一个正态分布
√N(θˆmle
−
θ0)
−D→
N
( 0,
I(θ0)−1)
其中，I(θ) 是 Fisher 信息量（或信息矩阵），
I(θ)
=
E ( ∂l(θ|X) )2 ∂θ
=
−E
( ∂2l(θ|X) ) ∂θ2
Cramer-Rao 定理证明了 Fisher 信息量的逆 I(θ)−1 是 θ0 所有无偏估计的 方差下界，由此我们知道极大似然估计量在样本量趋于无穷的时候可以达 到方差下界，也称为渐近有效。
∏N f(x|θ) = f(xi|θ)，对应的似然函数
i=1
∏N L(θ|x) = l(θ|xi),
i=1
其中 l(θ|x) = f(x|θ)。 * 即在不同的模型参数下，观测值 (x1, · · · , xn) 发生的概率密度。
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 5 / 49
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 7 / 49
极大似然估计
正态回归的极大似然估计
假设观测数据 (xi, yi), i = 1, · · · , N 来自线性回归模型 Y = xTβ + ϵ
其中，ϵ 是随机误差项，满足 ϵ ∼ N(0, σ2)。我们可以写出似然函数
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 10 / 49
置信区间和假设检验 置信区间
极大似然估计量的置信区间
√ 令 ZN = NI(θ0)(θˆmle − θ0)，可以近似看成一个正态分布。
P(zα/2 < ZN < z1−α/2) = 1 − α
由于 zα/2 < ZN < z1−α/2 等价于