统计机器学习方法

从统计学角度看待机器学习

? 统计学习总览

李航的《统计学习方法》绝对是干货十足的书，可惜实在是太干了，字字珠玑，几乎每

段话都能当作笔记进行整理。读起来仿佛在吃加强版的压缩饼干，虽然能量十足但未免太难

吃了。

根据文中内容，现在的机器学习，狭义上就是指代统计机器学习。

统计学习是数据驱动，从数据中学习概率统计模型，然后利用模型对新数据进行分析和

预测。

统计学习关于数据的基本假设——同类数据具有一定的统计规律。以随机变量(组)描述

数据特征，以概率分布描述数据的统计规律。

统计学习的目的是——寻找什么样的模型，怎么学习这个模型，以及学习这个模型的效

率。从而对数据进行分析和预测。

统计学习基本步骤——数据假设、模型假设、策略选择、优化求解、选择模型、应用模

型。

数据——独立同分布。

模型(参数空间、复杂度)——所有可能模型集合，假设空间(输入=>模型=>输出，

一种映射，如条件概率或决策函数)。

策略(损失函数、风险函数、经验函数)——确定模型选择的准则(最大似然，最小二乘拟

合)。

算法(优化问题)——实现策略的方法(直接求解，迭代求解，梯度下降)。

输入实例=>特征向量、输入输出对=>样本。

通过训练误差。测试误差来评估模型——欠拟合和过拟合，偏倚方差两难问题。通过正

则化和交叉验证来选取模型。

通过泛化误差上界来评定模型好坏。

================================================================================

==== ? 统计学习

统计学习定义：关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分

析的一门学科。

机器学习：往往是指代统计机器学习。

统计学习对象：数据驱动，并假设同类数据具有一定的统计规律性。

统计学习目的：分析和预测数据。

统计学习目标：学习什么样的模型，如何学习模型，并有效率的学习。

统计学习的分类：监督学习、半监督学习、无监督学习、增强学习等。

统计学习数据表示：以变量或者变量组来表示。分为连续变量和离散变量。

统计学习的方法步骤(监督学习为例)：数据假设、模型假设、策略选择、优化求解、选

择模型、应用模型

1.有限训练数据集合，并假设数据独立同分布——数据。

2.确定假设空间，即可能的模型集合——模型。

3.确定模型选择的准则——策略。

4.实现求解模型的方法——算法。

5.通过学习选择最优模型——选择。

6.利用模型进行预测和分析——应用。

统计学习的研究：包括统计学习方法、统计学习理论、统计学习应用。

1.统计学习方法的研究——开发新的学习方法。

2.统计学习理论的研究——学习方法的有效性和效率，以及基本理论问题。

3.统计学习应用的研究——如何将统计方法应用到实际问题中去。

统计学习的重要性：我们都懂得，混口饭吃嘛，装装牛x啥的。

================================================================================

====

? 监督学习

监督学习内容：分类、回归、标注等。

实例表示：通常以特征向量的形式表示，每一个特征是一个维度。

监督学习基本假设：输入输出的随机变量x和y遵循联合概率分布p(x,y)，并假设这个

分布存在。并且数据由这个分布独立同分布产生。

假设空间：

1.概率模型——p(y|x)。

2.决策函数——f(x)。

监督学习模型：

1.概率模型——f通常是由一个参数向量决定的条件概率分布族。

2.决策模型——f通常是由一个参数向量决定的函数族。

监督学习策略：

1.损失函数：0-1损失函数，平方损失函数，绝对损失函数，对数损失函数or对数似然

损失函数。

2.风险函数，期望损失：损失函数*联合概率的积分。

3.经验风险：损失函数和/n。

4.最小化：经验风险最小化，结构风险最小化。

监督学习算法：

优化问题：梯度下降，进化计算。

? 模型评估和选择：

训练误差：训练数据平均损失。

测试误差：测试数据平均损失。

过拟合：

正则化和交叉验证：简单交叉验证，s折交叉验证，留一交叉验证。

? 模型分类：篇二：统计机器学习研究

第38卷第6期

2010年11月

河南师范大学学报(自然科学版) journal of henan normal university(natural science) vol.38 no.6

nov.2010 文章编号:1000-2367(2010)06-0035-06 收稿日期:2010-03-10

基金项目:国家自然科学基金项目(60850004,60727002,60774003);国家重点基础研究发

展规划(973)项目

(2005cb321902);国防基础研究项目(a2120061303);河南师范大学青年科学基金

(2010qk01,2010qk21) 统计机器学习研究

李钧涛1,杨瑞峰2,左红亮1

(1.河南师范大学数学与信息科学学院,河南新乡453007;2.新乡学院数学系,河南新乡

453003) 摘要:通过将正则化框架引入到统计学习中来,介绍了几种当前流行的统计学习机

器,分析了他们的性能,并探讨了快速求解算法.关键词:统计学习;机器学习;支持向量机

中图分类号:tp273文献标志码:a 基于数据的机器学习(machine learning)是现代人工智能的一个核心研究领域,它研究

计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使

之不断改善自身的性能[1-5].狭义地,可以把机器学习理解为从观测数据(样本)出发寻找规

律,利用这些规律对未来数据或无法观测的数据进行预测[1-2].针对有限样本下机器学习问

题,vapnik等人提出了统计学习理论(statisticallearning theory)[3-4].随着来自不同领

域的学者对统计学习理论更加深入的研究和广泛的应用,它已发展成为一门涵盖模式识别、函

数逼近论、生物医学、数据挖掘、线性及非线性优化等众多学科交叉的边缘学科.

1 统计机器学习的发展

vapnik等人从20世纪六、七十年代开始致力于统计学习的研究,到90年代中期,随着其

理论的不断发展和成熟,也由于神经网络等学习方法在理论上缺乏实质性进展,统计学习理论

开始受到越来越广泛的重视[5,6].随后,著名统计学家tibshirani,hastie,friedman,wahba,

计算机学家christianini,shawe-tay-lor,人工智能学者poggio,mukherjee等人也纷纷开展

相应的研究,获得了大量的创新性成果.统计学习理论为解决有限样本学习问题提供了一个统

一的框架,可以说是目前针对小样本统计估计和预测学习的最佳理论.

在这种新理论体系下的统计推理规则不仅考虑了对渐近性能的要求,而且追求在现有有

限信息的条件下得到最优结果.统计学习理论的一个核心概念就是vc维,它是描述学习机器

的学习能力的一个重要指标,在此概念基础上发展出了一系列关于统计学习的一致性、收敛速

度、泛化性能等重要结论.支持向量机(support vector machine)是统计学习理论中最年轻的

内容,也是最实用的部分.其核心内容在1992到1995年间被提出[7],目前仍处在不断发展的

阶段

[8-11].支持向量机是建立在统计学习的vc维理论和结构风险最小原理基础上的,它根

据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷,以期获得最好的泛化能力.

使分类间隔最大化,即对泛化能力的控制是支持向量机的核心思想之一.给定训练样本

(x1,y1),(x2,y2),?,(xn,yn),其中xi∈rp是输入向量,yi∈{1,-1}是二值输出响应,支持向

量机求解下面的最优化问题: minw0,w12‖w‖22+c∑ni=1ξi, (1)约束条件为yi(w0+xtiw) 1-ξi,ξi 0,i =1,2,…,n,

其中,c>0是一个常数,它控制对错分样本的惩罚程度.利用lagrange乘子法,求解支持向

量机等价于求解如下的二次规划问题: maxα∑ni=1αi-12∑ni,j=1yiyjαiαj(xi·xj), (2)约束条件为0 αi c,i =1,2,?,n,

∑ni=1αiyi=0. 非零系数αi对应的向量xi是最靠近最优超平面的向量,被称为支持向量.

通过把原问题转化为对偶问题,支持向量机计算的复杂度不再取决于空间维数,而是取决于样

本中的支持向量数.这些特点使得支持向量机可以有效地处理高维问题.

对于非线性问题,支持向量机首先通过用内积函数(mercer核函数)定义的非线性变换将

输入空间变换到一个高维特征空间,然后在这个空间中寻求(广义)线性的最优分类面.支持向

量机在解决小样本、非线性及高维模式中有着独特的优势:(1)它是专门针对有限样本情况的,

其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值;(2)它最终求解

的是一个二次型寻优问题,从理论上说,得到的将是全局最优解,解决了在神经网络方法中无

法避免的局部极值问题[12-13];(3)它将实际问题通过非线性变换转换到高维的特征空间,在

高维空间中构造线性判别函数来实现原空间中的非线性判别函数,巧妙地解决了维数问题,其

算法复杂度与样本维数无关。支持向量机以精美的边界解释性和良好的学习性能,在生物信息

学领域得到了广泛的关注[14].然而,标准支持向量机的分类性能都高度依赖于额外的基因选

择方法.tibshirani等人在1996提出了能进行自动变量选择的学习机器lasso[15].随后的统

计学习理论与应用都表明,同时进行基因选择和分类能够改进学习机器的性能[16-17].特别

地,根据这种思想,zhu等人在2004年提出了1-范数支持向量机[14],shevade和keerthi在

2006年提出稀疏逻辑回归[18],cawley和talbot在2006年提出带有bayesian正则化的系数

逻辑回归

[19].

2 正则化学习框架

机器学习的目的是根据给定的训练样本寻求输入输出之间依赖关系的估计,使它能够对

未知输出作出尽可能准确的预测.学习问题可以用数学语言描述为:给定n个独立同分布的观

测样本(x1,y1),(x2,y2),?,(xn,yn),在预测函数集合{f(x,w)}中求一个最优的函数f(x,w*),

使得期望风险最小.学习问题的涉及面很广,最基本的学习问题有3类:模式识别(分类问题)、

回归估计和概率密度估计.其中,最为广泛研究的是分类与回归问题.有时候也把分类问题看

做是回归问题的一种特例.针对分类与回归问题,大量的统计学习机器已经被发展,例如,支持

向量机、adaboost,lasso,逻辑回归、弹性网络、非凸惩罚类方法等.这些流行的学习机器可

以根据损失+惩罚的准则[20],被统一地归纳为如下的正则化框架^β(λ) =arg minβ

l( y,f(x))+j(λ,β), (3)其中l(y, f(x))表示非负的损失函数,体现对特定训练样本的分

类误差,j(λ,β)表示满足j(0)=0惩罚函数,体现模型的复杂性,λ被称为正则化参数,它的

取值权衡着训练精度与模型复杂性,从而决定着学习机器的泛化性能.不同类型的学习问题往

往具有不同形式的损失函数,常见的损失函数有如下几种: 平方误差损失函数:l(y,f(x)) = (y-f(x))2.

指数损失函数:l(y,f(x)) =exp(-yf(x)). logistic损失函数:l(y,f(x)) =ln(1+exp(-yf(x))). hinge损失函数:l(y,f(x)) = [1-yf(x)]+=max{1-yf(x),0}. q-范数hinge损失函数(1< q <∞):l(y,f(x)) = [1-yf(x)]q+=

(max{1-yf(x),0})q.

ε-不敏感损失函数:l(y,f(x)) =| y-f(x) |ε=max(0, | y-f(x) |-ε).

具有固定节点t的huber损失函数:lh(y,f(x)) =(y-f(x))2, 如果| y-f(x) t,2t |

y-f(x)) |-t2,其他情况.具有固定节点0< t <1的huberized hinge损失函数

lhh(yf(x)) =0如果yf(x) >1,(1-y f(x))2/(2t),如果1-t < yf(x) 11-yf(x)-t/2,

其他情况.

在正则化框架下,一个核心的问题就是对学习机器的系数进行适当的惩罚.从统计学的角

度考

虑,惩罚项的收缩可以有效地控制学习机器系数的大小和变化,从而改进滤波模型的精度,

并产生模型稀疏性、群体变量选择等性能.令w = (w1,w2,?,wp)是学习机器的系数向量.在统

计学习中,流行的惩罚函数有:

2-范数惩罚:j2(λ,w) =λ‖w‖2=λ∑pj=1w2j.1-范数惩罚:j1(λ,w) =λ‖w‖1=λ∑

pj=1| wj|.弹性网络惩罚:j(λ2,λ1,w) =λ2‖w‖2+λ1‖w‖1.q-范数惩罚(q

>0):j(λ,w) =λ∑pj=1| wj|q. oscar惩罚:j(λ1,λ2,w) =λ∑pj=1| wj|+λ2∑j<k| wj-wj-1|}.分块1-范数惩

罚:j(λ,w) =λ∑kj=1| gk|‖wj‖2=λ∑kj=1| gk|∑|gk|l=1| wjl|2,其中k表示系数被分