机器学习入门：回归问题

缺点：无法度量损失的“严重程度”。
损 失 函 数 （ loss function）
平方损失函数（quadratic loss function）：
对数损失函数（logarithmic loss function）:
指数损失函数（exp-loss function）:
梯度下降算法
梯度下降法：是一种优化算法，通常也称为最
在实际应用中，问题复杂多样，不同的问题可能需要不同的方法来解
决。除了以上所介绍的回归方法外，还有很多方法：比如基于生成模型的 贝叶斯回归（Bayesian Regression），基于树模型的分类回归树（CART），
基于集成方法的梯度提升树（GBDT）及XGboost等。
THANKS
Elastic Net
另一种回归方法叫Elastic Net，它同时采用了L1和L2正则，以综 合Ridge Regression和Lasso Regression两者的优点。
既能稀疏化模型权重，又能保持岭回归的稳定性。
非线性模型
回归问题讨论
回归分析要有实际意义；
异常值检测。
扩展内容
该方法将前向选择与后项进行 了结合，试图达到最优子集选择 效果的同时也保留了前向和后向 逐步选择在计算上的优势。
损 失 函 数 （ l oss function）
损失函数(loss function)度量预测错误的程度，常记作L(Y,f(X))。
常见的损失函数有以下几种：
0-1损失函数（0-1 loss function）：
回归问题应用场景
回归分析属于有监督学习，简单有效，应用十分广泛：
一个简单的例子
回归分析
回归分析研究的主要是因变量（目标）和自变量（经验）之间的依 存关系。按关系类型，又可分为线性回归分析和非线性回归分析。学 习过程如下：
Linear Regression
理想的拟 合直线
最小二乘算法
最小二乘算法
变换缓慢，最终解的w趋于0附近。
L1正则与L2正则
对模型加入参数的正则化项后，模型会
尝试最小化这些权值参数。而这个最小化就 像一个下坡的过程，L1和L2的另一个差别 就在于这个“坡”不同。 如下图：L1就是按绝对值函数的“坡” 下降的，而L2是按二次函数的“坡”下降。 所以实际上在0附近，L1的下降速度比L2的 下降速度要快。
随机梯度下降法（SGD）：它的具体思路是在更新每一参数时都使用一个样
本来进行更新。
Mini-batch Gradient Descent（MBGD）：它的具体思路是在更新每一参
数时都使用一部分样本来进行更新
可能存在的问题
学习过程可能出现的问题：
1）数据量过少（m<n）
2）存在大量相似特征
什么是过拟合？ 什么是结构风 险最小化？
Backward Stepwise Selection
以全模型为起点，逐次迭代，每 次移除一个对模型拟合结果最不利的 变量。 需满足样本量m大于变量个数n （保证全模型被拟合）。而前向逐步 选择即时在m<n的情况下也可以使
用，适应于高维数据。
模型个数：[n(n+1)/2]+1
Stepwise Regression
风险函数
结构风险：经验风险最小化易产生“过拟合”问题。这就提出
了结构风险最小（SRM）的理论。 本质上是在经验风险的基础上加入了正则化项（regularizer）或 者叫做罚项（penalty term），即 ：
Overfiting and Underfiting
模型学的“太好”，把样本自身的一些特点当作所有潜在样本都会具有的一般 性质，泛化性能很差，称为“过拟合”(overfitting)。正则化可以很好的解决这一
回归算法原理及应用
机器学习入门：
人类学习过程
模仿，实践 认知 再认知 反馈
什么是机器学习？
机器学习就是让计算机从大量的数据中学习到相关的规律和逻辑，然后利用 学习来的规律来进行决策，推理和识别等。
1.
发现规律
2. 3.
发件人邮件地址异 常； 标题含有“低价促 销” …
？
测试数 据 邮件Xi
规则
测试
Forward Stepwise Selection
以零模型为起点，依次往模型中添加变 量， 直至加完所有的变量。 但每次优先将能够最大限度地提升模型 效果的变量加入模型。 但无法保证找到的模型是所有2n-1个模
型中最优的，且可能在前期将后来变得多余
的变量纳入模型。
模型个数：[n(n+1)/2]+1
参数优化
如何高效的找到最优参数
”回归“的由来
英国人类学家F.Galton首次在
《自然遗传》一书中，提出并阐明了
“相关”和“相关系数”两个概念， 为相关论奠定了基础。 其后，他和英国统计学家Karl Pearson对上千个家庭的身高，臂长， 拃长（伸开大拇指与中指两端的最大 长度）做了测量，发现了一种现象。
根据学习方式的不同，可以分为监督学习，无监督学习和强化学 习等几种类型。
（有指导）
监督学习
无监督学习
（自学）
（自我评估）
强化学习
ቤተ መጻሕፍቲ ባይዱ
机器学习三要素
机器学习可以认为是一个在逐步发现和探索规律的过程。学习过程
主要包含以三个要素：
模型表示 问题的影响因素(特征)有哪些？它们之间的关系如何？ 模型评估 什么样的模型是好的模型
选择“最优回归方程”
回归方程中包含的自变量个数越多，回归平方和就越大，残差平 方和越小，预测值的置信区间也越小。
既要选择对预测影响显著的自变量，又要使回归的损失很小，
这样才有利于预测。
选择“最优回归方程”的方法有： 最优子选择法（best subset selection） 逐步选择法（stepwise selection）
3）过拟合，泛化能力弱（一般都存在此问题） 可以使用结构风险最小化模型选择策略，即引入正则项。
风险函数
损失函数度量预测值与“真实值”之间的“接近程度”， 而风险函 数，可以认为是平均意义下的损失。有两个概念：
经验风险：给定一个数据集，模型f(x)关于训练集的平均损失被称为经验风 险。
一般认为经验风险最小的模型最优，即经验风险最小化（ERM）。
结果评估 Yi：垃圾or正常
机器学习应用实例
应用实例：
1、对语言、文字的认知与识别 2、对图像、场景、自然物体的认知与识别 3、对规则的学习与掌握 例如：下雨天要带伞，生病要吃药，天冷 了要穿厚衣服等 4、对复杂事物的推理与判断能力 例如：好人与坏人的辨别能力，事物的正 误的判断能力
机器学习的种类
Best subset selection
最优子集选择法（best subset
selection），即对n个预测变量的 所有可能组合（共有2n-1）分别进 行拟合，然后选择出最优模型。
Stepwise Selection
逐步选择法按选择方式的不同，共分为三种： 前向逐步选择法（Forward Stepwise Selection） 后向逐步选择法（Backward Stepwise Selection） 逐步回归法（Stepwise Regression） 基于最优子集回归方法的一些缺陷，逐步选择的优点是限制了 搜索空间，从而提高了运算效率。
Ridge Regression
正则化项是参数的L2范数时，整个回归方
法就叫做岭回归。相应损失函数：
那么为什么叫做“岭”回归呢？
Lasso Regression
lasso回归：参数范数为L1范数
优势：不仅可以解决过拟合问题，而且可以在参数缩减过程中，将一些
重复或不重要的参数直接缩减为零（删除），有提取有用特征的作用。
劣势：计算过程复杂，毕竟L1范数不是连续可导的。
L1正则与L2正则
L1正则与L2正则
L1正则与L2正则
从贝叶斯角度来看，正则化相当于对模 型参数引入了先验分布，即对模型参数加了
分布约束：
L1正则，模型参数服从拉普拉斯分布， 只有很小的|w|，才能得到较大的概率， L2正则，模型参数服从高斯分布对大 的|w|，概率较低，而在接近0的时候，概率
速下降 基本思想：
在下山时，如果想以最快的方式到达山底，应该沿着山 势最陡的方向，也即山势变化最快的方向。 同样，如果从任意一点出发，需要最快搜索到函数的最 小值，那么也应该从函数变化最快的方向搜索 而函数变化最快的方向就是函数的负梯度方向
梯度下降算法
损失计算方法
批量梯度下降法（BGD）：是梯度下降法最原始的形式，在更新每一参数时 都使用所有的样本来进行更新。
问题。
与“过拟合”相对的是“欠拟合”(underfitting)，这是指对训练样本的一 般性质尚未学好。
L1范数与L2范数
范数：范数是衡量某个向量空间（或矩阵）中的每个向量的长度或大小。
范数的一般化定义如下（实数p>=1）：
L1范数：当p=1时，是L1范数，表示某个向量中所有元素的绝对值之和。 L2范数：当p=2时，是L2范数，表示某个向量中所有元素的平方和再开 根号。