机器学习(深度学习)编年史

机器学习编年史

一、引言

机器学习（Machine Learning，ML）可以认为是：通过数据，算法使得机器从大量历史数据中学习规律，从而对新样本做分类或者预测。它是人工智能（Artificial Intelligence，AI）的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，主要使用归纳、综合的方法获取或总结知识。

作为一门交叉领域学科，它涉及到概率论，统计学，凸分析，最优化，计算机等多个学科。专门研究计算机怎样模拟或实现人类的学习行为，从而获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

本文将以时间为顺序，从两个大阶段介绍机器学习，第一部分介绍浅层学习阶段，第二部分介绍深层学习阶段，就是所谓的深度学习。

二、浅层学习阶段

1.Arthur Samuel

1959年，IBMArthur Samuel的写出了可以学习的西洋棋程序，并发表了一篇名为《Some Studies in Machine Learning Using the Game of Checkers》的论文中，定义并解释了一个新词—机器学习（Machine Learning，ML）。将机器学习非正式定义为”在不直接针对问题进行编程的情况下，赋予计算机学习能力的一个研究领域”。

图1 Arthur Samuel的西洋棋

1957年，Rosenblatt发明了感知机（或称感知器，Perceptron）[1]，是神经网络的雏形，同时也是支持向量机的基础，在当时引起了不小的轰动。感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面。

图2.1 感知机算法

其实设计感知器的初衷是制造一个识别用的机器，而不是一个算法。虽然它的第一次实现是在IBM704上安装的软件中，但它随后在定制的硬件实现“Mark1感知器”。这台机器是用于图像识别，它拥有一个容量为400的光电池阵列，随机连接到“神经元”，连接权重使用电位编码，而且在学习期间由电动马达实施更新。

图2.2 Mark1 感知器

1960年，Widrow发明了Delta学习规则，即如今的最小二乘问题，立刻被应用到感知机中，并且得到了一个极好的线性分类器。Delta学习规则是一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权，其数学表示如下：

1969年，Minskey提出了著名的XOR问题[2]，论证了感知器在类似XOR问题的线性不可分数据的无力，以至于其后十年被称为“冷静时期”，给感知机画上了一个逗号，以洪荒之力将如火如荼将的ML暂时封印了起来。Rosenblatt在这之后两年郁郁而终与此也不无关系，虽然当时Rosenblatt才43岁，虽然Rosenblatt死于游艇意外事故……

图3 XOR问题

1970年，Seppo Linnainmaa首次完整地叙述了自动链式求导方法（Automatic Differentiation，AD）[3]，是著名的反向传播算法（Back Propagation，BP）的雏形，但在当时并没有引起重视。

图4 AD算法流程图

1974年，Werbos首次提出把BP算法的思想应用到神经网络，也就是多层感知机（Multilayer Perception，MLP）[4]，并在1982年实现[5]，就是现在通用的BP算法，促

成了第二次神经网络大发展。MLP或者称为人工神经网络（Artificial Neural Network，ANN）是一个带有单隐层的神经网络。

图5 MLP模型

1985-1986年，Rumelhart，Hinton等许多神经网络学者成功实现了实用的BP算法来训练神经网络[6][7]，并在很长一段时间内BP都作为神经网络训练的专用算法。

图6 反向传播算法效果图

1986年，J.R.Quinlan提出了另一个同样著名的ML算法——决策树算法（ID3）[8]，决策树作为一个预测模型，代表的是对象属性与对象值之间的一种映射关系，而且紧随其后涌现出了很多类似或者改进算法，如ID4，回归树，CART等。

ID3算法是一种贪心算法，用来构造决策树。ID3算法起源于概念学习系统（CLS），以信息熵的下降速度为选取测试属性的标准，即在每个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准，然后继续这个过程，直到生成的决策树能完美分类训练样例。