浅谈深度学习[优质PPT]
合集下载
深度学习介绍 ppt课件
自编码器的建立
建立AutoEncoder的方法是：
对于m个数据的输入，有：
Code编码:使用非线性激活函数，将维输入数据映射到维隐含层（隐含节点表示特 征）
其中W是一个的权重矩阵，b是一个d'维的偏移向量 Decode解码:通过反向映射，对映射后的数据进行重建
hi
yi
SAE网络每一次训练输入都会得到映射后的 与解码后的 。通过对代价函数的最优
深层带来的好处
为什么采用层次网络
预训练与梯度消失现象
主要内容
自编码器结构
单层自动编码器网络（AutoEncoder）实质上是一个三层的反向传播神经网络。它逐 层采用无监督学习的方式，不使用标签调整权值，将输入映射到隐含层上，再经过反 变换映射到输出上，实现输入输出的近似等价。
X1 X2 X3 X4 X5 +1
RBM网络有几个参数，一个是可视层与隐含 层之间的权重矩阵，一个是可视节点的偏移 量b，一个是隐含节点的偏移量c，这几个参 数决定了RBM网络将一个m维的样本编码成 一个什么样的n维的样本。
受限玻尔兹曼机
RBM介绍
RBM训练
一般地，链接权重Wij可初始化为来自正态分布N(0,0.01)的随机数，隐 单元的偏置cj初始化为0； 对于第i个可见单元，偏置bj初始化为log[pi/(1-pi)] 。pi表示训练样本中 第i个特征处于激活状态所占的比率 学习率epsilon至关重要，大则收敛快，但是算法可能不稳定。小则 慢。为克服这一矛盾引入动量，使本次参数值修改的方向不完全由当 前样本似然函数梯度方向决定，而是上一次参数值修改方向与本次梯 度方向的结合可以避免过早的收敛到局部最优点
激活函数
y f (x)
深度学习技术介绍PPT课件
根据Marr(1982)年理论，理解一个信息处理系统，具有三个被称为分析层面的内容： 计算理论(computational theory)对应计算目标和任务的抽象定义。 表示和算法(representation and algorithm)是关于输人和输出如何表示和从输入到输
出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现。
29
29
M40 GPU加速特性
30
GPU与CPU连接
通过PCIe与CPU连接, 最大理论带宽8GB/s(gen2.0)、16GB/s(gen3.0) CPU称为主机(host), 显卡(GPU)称为设备(device)
31
31
最优连接数量：4
32
32
目前的GPU使用方案
33
33
CPU困境
34
机器学习还可以进行压缩(compression)。用规则拟合数据，我们能得到比数据更简 单的解释，需要的存储空间更少，处理所需要的计算更少，例如，一旦你掌握了加法 规则，你就不必记忆每对可能数字的和是多少。
机器学习的另一种用途是离群点检测(outlier detection)，即发现那些不遵守规则的 例外实例。在这种情况下，学习规则之后，我们感兴趣的不是规则，而是规则未能覆 盖的例外，他们可能暗示出我们需要注意的异常，如诈骗等。
具体应用-人脸识别
对于人脸识别(face recognition)。输入是人脸 图像，类是需要识别的人，并且学习程序应当 学习人脸图像与身份之间的关联性。人脸会有 更多的类，输入图像也更大一些，并且人脸是 三维的，不同的姿势和光线等都会导致图像的 显著变化。另外，对于特定人脸的输人也会出 现问题，比如说眼镜可能会把眼睛和眉毛遮住 ，胡子可能会把下巴盖住等。
出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现。
29
29
M40 GPU加速特性
30
GPU与CPU连接
通过PCIe与CPU连接, 最大理论带宽8GB/s(gen2.0)、16GB/s(gen3.0) CPU称为主机(host), 显卡(GPU)称为设备(device)
31
31
最优连接数量：4
32
32
目前的GPU使用方案
33
33
CPU困境
34
机器学习还可以进行压缩(compression)。用规则拟合数据，我们能得到比数据更简 单的解释，需要的存储空间更少，处理所需要的计算更少，例如，一旦你掌握了加法 规则，你就不必记忆每对可能数字的和是多少。
机器学习的另一种用途是离群点检测(outlier detection)，即发现那些不遵守规则的 例外实例。在这种情况下，学习规则之后，我们感兴趣的不是规则，而是规则未能覆 盖的例外，他们可能暗示出我们需要注意的异常，如诈骗等。
具体应用-人脸识别
对于人脸识别(face recognition)。输入是人脸 图像，类是需要识别的人，并且学习程序应当 学习人脸图像与身份之间的关联性。人脸会有 更多的类，输入图像也更大一些，并且人脸是 三维的，不同的姿势和光线等都会导致图像的 显著变化。另外，对于特定人脸的输人也会出 现问题，比如说眼镜可能会把眼睛和眉毛遮住 ，胡子可能会把下巴盖住等。
深度学习详解37页PPT文档
深度学习与浅层学习的区别
强调了模型结构的深度，通常有5-10多层的隐层节点；
明确突出了特征学习的重要性，通过逐层特征变换，将 样本在原空间的特征表示变换到一个新特征空间，从而 使分类或预测更加容易。与人工规则构造特征的方法相 比，利用大数据来学习特征，更能够刻画数据的丰富内 在信息。
深度学习的训练方法
深度学习的训练过程
自下而上的非监督学习：从底层开始，一层一层的往 顶层训练，分别得到各层参数。
采用无标签数据分层训练各层参数（可以看作是特征学习 的过程）。
自上而下的监督学习
基于第一步的得到的各层参数进一步调整整个多层模型的 参数，这一步是一个有监督的训练过程。
深度学习的几种常用模型
Auto Encoder（自动编码器） Sparse Coding （稀疏编码） Restricted Boltzmann Machine（限制玻尔兹曼机） Deep Belief Networks （深度信任网络） Convolutional Neural Networks （卷积神经网络）
深度学习可以通过学习一种深层非线性网络结构，实 现复杂函数逼近，表征输入数据分布式表示，并展现 了强大的从少数样本中集中学习数据及本质特征的能 力。
深度学习的实质
通过构建具有很多隐层的机器学习模型和海量的训练数 据，来学习更有用的特征，从而最终提升分类或预测的 准确性。因此，“深度模型”是手段，“特征学习”是 目的。
Convolutional Neural Networks(CNN)
Convolutional Neural Networks(CNN)
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领 域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网 络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现 的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的 特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层 感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度 不变性。
强调了模型结构的深度，通常有5-10多层的隐层节点；
明确突出了特征学习的重要性，通过逐层特征变换，将 样本在原空间的特征表示变换到一个新特征空间，从而 使分类或预测更加容易。与人工规则构造特征的方法相 比，利用大数据来学习特征，更能够刻画数据的丰富内 在信息。
深度学习的训练方法
深度学习的训练过程
自下而上的非监督学习：从底层开始，一层一层的往 顶层训练，分别得到各层参数。
采用无标签数据分层训练各层参数（可以看作是特征学习 的过程）。
自上而下的监督学习
基于第一步的得到的各层参数进一步调整整个多层模型的 参数，这一步是一个有监督的训练过程。
深度学习的几种常用模型
Auto Encoder（自动编码器） Sparse Coding （稀疏编码） Restricted Boltzmann Machine（限制玻尔兹曼机） Deep Belief Networks （深度信任网络） Convolutional Neural Networks （卷积神经网络）
深度学习可以通过学习一种深层非线性网络结构，实 现复杂函数逼近，表征输入数据分布式表示，并展现 了强大的从少数样本中集中学习数据及本质特征的能 力。
深度学习的实质
通过构建具有很多隐层的机器学习模型和海量的训练数 据，来学习更有用的特征，从而最终提升分类或预测的 准确性。因此，“深度模型”是手段，“特征学习”是 目的。
Convolutional Neural Networks(CNN)
Convolutional Neural Networks(CNN)
卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领 域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网 络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现 的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的 特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层 感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度 不变性。
浅谈深度学习PPT
这些模型的结构基本上可以看成带有一层隐层节点 （如SVM、Boosting），或没有隐层节点（如LR）。这些 模型无论是在理论分析还是应用中都获得了巨大的成功。
相比之下，由于理论分析的难度大，训练方法又需要 很多经验和技巧，这个时期深度人工神经网络反而相对沉 寂。
3/26/2020
8
8
2、深度学习
2）深度神经网络在训练上的难度，可以通过“逐层初始化” 来有效克服，在这篇文章中，逐层初始化是通过无监督学 习实现的。
[1] Hinton, Geoffrey;Osindero, Simon;Welling, Max;Teh, Yee-Whye . Unsupervised Discovery of Nonlinear Structure Using Contrastive Backpropagation. Science.2006(30)4: 725-732.
三、What？
深度学习是机器学习研究中的一个新的领域，其动机在 于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的 机制来解释数据，例如图像，声音和文本。 深度学习是无监督学习的一种。
深度学习的概念源于人工神经网络的研究。含多隐层的 多层感知器就是一种深度学习结构。深度学习通过组合低层 特征形成更加抽象的高层表示属性类别或特征，以发现数据 的分布式特征表示。
1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个 程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4 年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜 了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展 示了机器学习的能力，提出了许多令人深思的社会问题与哲学 问题。
3/26/2020
10 10
3、浅层学习与深度学习的不同
相比之下，由于理论分析的难度大，训练方法又需要 很多经验和技巧，这个时期深度人工神经网络反而相对沉 寂。
3/26/2020
8
8
2、深度学习
2）深度神经网络在训练上的难度，可以通过“逐层初始化” 来有效克服，在这篇文章中，逐层初始化是通过无监督学 习实现的。
[1] Hinton, Geoffrey;Osindero, Simon;Welling, Max;Teh, Yee-Whye . Unsupervised Discovery of Nonlinear Structure Using Contrastive Backpropagation. Science.2006(30)4: 725-732.
三、What？
深度学习是机器学习研究中的一个新的领域，其动机在 于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的 机制来解释数据，例如图像，声音和文本。 深度学习是无监督学习的一种。
深度学习的概念源于人工神经网络的研究。含多隐层的 多层感知器就是一种深度学习结构。深度学习通过组合低层 特征形成更加抽象的高层表示属性类别或特征，以发现数据 的分布式特征表示。
1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个 程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4 年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜 了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展 示了机器学习的能力，提出了许多令人深思的社会问题与哲学 问题。
3/26/2020
10 10
3、浅层学习与深度学习的不同
深度学习PPT课件
随后，建立带有梯度下降的BP模型，1981年首次NN得到应 用；
80年代末，基于BP训练的深度神经网络（Deep NNs）依然 很难实现，90年代开始成为研究主体；
1991， 通过无导学习的深度学习（Deep Learning，DL）在 实际中可以运用；
2009，有导师学习的DL在大部分国际模式识别竞赛中领先 于其他机器学习方法，并且第一个实现超人视觉模式识别， 从此赢得广泛关注。
.
深度学习
----许洛
1
.
深度学习（DL）
1 深度学习 介绍
• 1 DL历程 • 2 BP缺点
2 CNN应用
• 1 手写字体 识别
• 2 语音识别
3 CNN原理
• 卷积 • 池化 • 反向传输
2
.
深度学习（DL）
60、70年代，神经网络（NNs）最早可以追溯的时期，构建 出连续非线性层的神经元模型；
.
池化层
采样层是对上一层map的一个采样处理，相当 于对上一层map的相邻小区域进行聚合统计， 区域大小为scale*scale，有些是取小区域的最 大值，而ToolBox里面的实现是采用2*2小区域 的均值。CNN ToolBox里面也是用卷积来实现 采样的，卷积核是2*2，每个元素都是1/4。
C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参 数，一共6个滤波器，共(5*5+1)*6=156个参数）。
最后一层将4*4的map平铺成一条特征数组，用于训练。 10
.
卷积层
卷积层的每一个特 征map是不同的卷积 核在前一层所有map 上作卷积并将对应 元素累加后加一个 偏置，再求sigmod得 到的。
目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网 络可以看作是由多个受限 玻 尔 兹 曼 机叠加而 成，CNN通过local receptive fields（感受野）， shared weights（共享权值），subsampling（下 采样）概念来解决BP网络的三个问题。
80年代末，基于BP训练的深度神经网络（Deep NNs）依然 很难实现，90年代开始成为研究主体；
1991， 通过无导学习的深度学习（Deep Learning，DL）在 实际中可以运用；
2009，有导师学习的DL在大部分国际模式识别竞赛中领先 于其他机器学习方法，并且第一个实现超人视觉模式识别， 从此赢得广泛关注。
.
深度学习
----许洛
1
.
深度学习（DL）
1 深度学习 介绍
• 1 DL历程 • 2 BP缺点
2 CNN应用
• 1 手写字体 识别
• 2 语音识别
3 CNN原理
• 卷积 • 池化 • 反向传输
2
.
深度学习（DL）
60、70年代，神经网络（NNs）最早可以追溯的时期，构建 出连续非线性层的神经元模型；
.
池化层
采样层是对上一层map的一个采样处理，相当 于对上一层map的相邻小区域进行聚合统计， 区域大小为scale*scale，有些是取小区域的最 大值，而ToolBox里面的实现是采用2*2小区域 的均值。CNN ToolBox里面也是用卷积来实现 采样的，卷积核是2*2，每个元素都是1/4。
C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参 数，一共6个滤波器，共(5*5+1)*6=156个参数）。
最后一层将4*4的map平铺成一条特征数组，用于训练。 10
.
卷积层
卷积层的每一个特 征map是不同的卷积 核在前一层所有map 上作卷积并将对应 元素累加后加一个 偏置，再求sigmod得 到的。
目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网 络可以看作是由多个受限 玻 尔 兹 曼 机叠加而 成，CNN通过local receptive fields（感受野）， shared weights（共享权值），subsampling（下 采样）概念来解决BP网络的三个问题。
深度学习介绍 PPT
自编码器的建立
建立AutoEncoder的方法是: 关于m个数据的输入,有:
Code 编码:使用非线性激活函数,将维输入数据映射到维隐含层(隐藏节点表示特征)
其中W是一个的权重矩阵,b是一个d'维的偏移向量 Decode 解码:通过反向映射,对映射后的数据进行重建
SAE网络采纳相同的权重
,对数据进行编码与解码。每一次训练输入都会得到映射后
CNN基本知识
卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。 它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权 值的数量。该优点在网络的输入是多维图像时表现的更为明显,能够使图像直截了当作 为网络的输入,幸免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为 识别二维形状而特别设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或 者其他形式的变形具有高度不变性。
深度学习介绍
主要内容
神经网络
深度学习
介绍 常用方法
• Stacked Auto-Encoder • Convolutional Neural Network • Deep Belief Network
评价与应用
展望
神经网络
在机器学习与认知识别领域中,人工神经网络是一类模拟生物神经网络(中枢神经网络, 特别是大脑)的模型,用来预测(决策问题)或估计基于大量未知数据的函数模型。人工神 经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包 含可依照经验调整的权重,使得神经网络能够自习惯输入,同时拥有学习能力。
测试:对测试数据进行神经网络测试,得到结果
空间去冗余 压缩
Defined By User
深度学习PPT幻灯片
❖ 案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、 机器人等嵌入式机器视觉领域
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
11
深度学习硬件加速方式——GPU
❖ SIMD方式，计算能力强，并行度支持好 ❖ 通用性，并非针对深度学习
➢ 运行效率受影响 ➢ 能耗仍较大 ❖ 代表： NVIDIA Tesla P100 GPU ❖ 案例：基于GPADAS)方面与众多车企进行合作
样思考
取新的知识技能，并
应用：国际跳棋程序
改善自身性能
应用：垃圾邮件过滤
深度学习
一种机器学习方法，模 拟人脑机制解释数据， 通过组合低层特征形成 更加抽象的高层属性类 别或特征
应用：谷歌视频寻猫
1950's 1960's 1970's 1980's 1990's 2000's 2010's
3
深度学习的流程
Horizon Robotics（地平线机器人）BPU芯片 ❖ 案例：基于TPU的AlphaGo与围棋冠军李世石人机大战，总比分4:1获胜
15
深度学习硬件加速方式比较
加速方式
优点
缺点
CPU
通用结构、可独立工作 通用性导致效率和能效比低
GPU FPGA DSP ASIC
强大的并行计算能力
通用性导致效率受影响、能耗大
灵活性好、设计空间大、 省去流片过程 改动小、计算能力较高
14
深度学习硬件加速方式——ASIC
❖ 阻碍深度学习发展的瓶颈仍是算法速度 ❖ 传统处理器需要多条指令才能完成一个神经元的处理 ❖ ASIC根据深度学习算法定制：处理效率、能效均最高 ❖ 代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、
11
深度学习硬件加速方式——GPU
❖ SIMD方式，计算能力强，并行度支持好 ❖ 通用性，并非针对深度学习
➢ 运行效率受影响 ➢ 能耗仍较大 ❖ 代表： NVIDIA Tesla P100 GPU ❖ 案例：基于GPADAS)方面与众多车企进行合作
样思考
取新的知识技能，并
应用：国际跳棋程序
改善自身性能
应用：垃圾邮件过滤
深度学习
一种机器学习方法，模 拟人脑机制解释数据， 通过组合低层特征形成 更加抽象的高层属性类 别或特征
应用：谷歌视频寻猫
1950's 1960's 1970's 1980's 1990's 2000's 2010's
3
深度学习的流程
Horizon Robotics（地平线机器人）BPU芯片 ❖ 案例：基于TPU的AlphaGo与围棋冠军李世石人机大战，总比分4:1获胜
15
深度学习硬件加速方式比较
加速方式
优点
缺点
CPU
通用结构、可独立工作 通用性导致效率和能效比低
GPU FPGA DSP ASIC
强大的并行计算能力
通用性导致效率受影响、能耗大
灵活性好、设计空间大、 省去流片过程 改动小、计算能力较高
深度学习Deep-Learning【精品PPT文档】
• 减轻梯度消失问题的一个方法是使用线性激活函数（比如rectifier
函数）或近似线性函数（比如softplus 函数）。这样，激活函数的 导数为1，误差可以很好地传播，训练速度得到了很大的提高。
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
向量函数及其导数
按位计算的向量函数及其导数
logistic函数
softmax函数
softmax函数
softmax函数
softmax函数
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
机器学习中的一些概念
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
向量
向量的模和范数
常见的向量
矩阵
矩阵的基本运算
矩阵的基本运算
常见的矩阵
常见的矩阵
导数
向量导数
导数法则
导数法则
导数法则
常用函数及其导数
常用函数及其导数
深度学习Deep Learning
目录
• • • • • • • • 深度学习简介 数学基础 机器学习简介 感知器 前馈神经网络 卷积神经网络 循环神经网络 深度学习应用
深度学习概念
• 机器学习（Machine Learning，ML）主要是研究如何使计算机从给定的 数据中学习规律，即从观测数据（样本）中寻找规律，并利用学习到的 规律（模型）对未知或无法观测的数据进行预测。目前，主流的机器学 习算法是基于统计的方法，也叫统计机器学习。 • 人工神经网络（Artificial Neural Network ，ANN），也简称神经网络， 是众多机器学习算法中比较接近生物神经网络特性的数学模型。人工神 经网络通过模拟生物神经网络（大脑）的结构和功能，由大量的节点 （或称“神经元”，或“单元”）和之间相互联接构成，可以用来对数 据之间的复杂关系进行建模。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10
3、浅层学习与深度学习的不同
深度学习的实质，是通过构建具有很多隐层的机器学 习模型和海量的训练数据，来学习更有用的特征，从而最 终提升分类或预测的准确性。因此，“深度模型”是手段， “特征学习”是目的。
区别于传统的浅层学习，深度学习的不同在于： 1）强调了模型结构的深度，通常有5层、6层，甚至10多层 的隐层节点； 2）明确突出了特征学习的重要性，也就是说，通过逐层特 征变换，将样本在原空间的特征表示变换到一个新特征空 间，从而使分类或预测更加容易。利用大数据来学习特征， 更能够刻画数据的丰富内在信息。
深度学习的概念源于人工神经网络的研究。含多隐层的 多层感知器就是一种深度学习结构。深度学习通过组合低层 特征形成更加抽象的高层表示属性类别或特征，以发现数据 的分布式特征表示。
5
四、怎么来的？
从机器学习的模型结构层次来分，机器学习经历了两次浪潮 ：
1、浅层学习（Shallow Learning）：机器学习第一次浪潮 2、深度学习（Deep Learning）：机器学习第二次浪潮
相比之下，由于理论分析的难度大，训练方法又需要 很多经验和技巧，这个时期深度人工神经网络反而相对沉 寂。
8
2、深度学习
2006年，加拿大多伦多大学教授、机器学习领域的泰斗 Geoffrey Hinton等在《Science》上发表了一篇文章[1] ，开启了深度学习在学术界和工业界的浪潮。 这篇文章有两个主要观点： 1）多隐层的人工神经网络具有优异的特征学习能力，学习 得到的特征对数据有更本质的刻画，从而有利于可视化或 分类。 2）深度神经网络在训练上的难度，可以通过“逐层初始化 ”来有效克服，在这篇文章中，逐层初始化是通过无监督 学习实现的。
2
一、机器学习
机器学习（Machine Learning）是一门专门研究计算机怎 样模拟或实现人类的学习行为，以获取新的知识或技能，重新 组织已有的知识结构使之不断改善自身的性能的学科。
简单的说，机器学习就是通过算法，使得机器能从大量的 历史数据中学习规律，从而对新的样本做智能识别或预测未来 。
1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个 程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4 年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜 了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展 示了机器学习的能力，提出了许多令人深思的社会问题与哲学 问题。
92、深Biblioteka 学习当前多数分类、回归等学习方法为浅层结构算法，其 局限性在于有限样本和计算单元情况下对复杂函数的表示 能力有限，针对复杂分类问题其泛化能力受到一定制约。
深度学习可通过学习一种深层非线性网络结构，实现 复杂函数逼近，表征输入数据分布式表示，并展现了强大 的从少数样本中集中学习数据集本质特征的能力。（多层 的好处是可以用较少的参数表示复杂的函数）
7
1、浅层学习
20世纪90年代，各种各样的浅层机器学习模型相继被 提出，例如支撑向量机（SVM）、 Boosting、最大熵方法 （LR）等。
这些模型的结构基本上可以看成带有一层隐层节点（ 如SVM、Boosting），或没有隐层节点（如LR）。这些模 型无论是在理论分析还是应用中都获得了巨大的成功。
这种程序水平达到一定程度很容易，但再进一步就不容易了。 深蓝是90年代机器学习理论有了突破之后才出来的。
3
二、Why?
机器学习虽然发展了几十年，但还是存在很多没有良好解决的 问题。例如以视觉感知为例，通过机器学习去解决这些问题的 思路：
Input
Feature Representation
Learning
[1] Hinton, Geoffrey;Osindero, Simon;Welling, Max;Teh, Yee-Whye . Unsupervised Discovery of Nonlinear Structure Using Contrastive Backpropagation. Science.2006(30)4: 725-732.
12
不同点：采用了不同的训练机制。 传统神经网络中，采用的是反向传播（BP）的方式进
浅谈深度学习（DeepLearning）
专业：计算机技术 1
主要内容
2006年以来，机器学习领域中一个叫“深度学习”的课 题开始受到学术界广泛关注，如今拥有大数据的互联网公 司争相投入大量资源研发深度学习技术。
一、机器学习 二、为什么有 Deep learning？Why? 三、什么是 Deep learning？What? 四、怎么来的？ 五、Deep learning与神经网络的异同
Algorithm 手工选取特征不太好，那么能不能自动地学习一些特征呢？
答案是能！Deep Learning就是用来干这个事情的，它有一个别
名Unsupervised Feature Learning。
Why？
答案：让机器自动学习良好的特征，而免去人工选取过程。
4
三、What？
深度学习是机器学习研究中的一个新的领域，其动机在 于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的 机制来解释数据，例如图像，声音和文本。 深度学习是无监督学习的一种。
11
四、深度学习与神经网络的异同
深度学习与传统的神经网络之间有相同的地方也有很 多不同。
相同点：深度学习采用了神经网络相似的分层结构，系 统由包括输入层、隐层（多层）、输出层组成的多层网络 ，只有相邻层节点之间有连接，同一层以及跨层节点之间 相互无连接，每一层可以看作是一个逻辑回归模型；这种 分层结构，是比较接近人类大脑的结构的。
6
1、浅层学习
20世纪80年代末期，由于人工神经网络的反向传播算 法（BP算法）的发明，给机器学习带来了希望，掀起了基 于统计模型的机器学习热潮。这个热潮一直持续到今天。
基于统计的机器学习方法可以让一个人工神经网络模 型从大量训练样本中学习统计规律，从而对未知事件做预 测。
这个时候的人工神经网络，虽也被称作多层感知机 （Multi-layer Perceptron），但实际是一种只含有一层 隐层节点的浅层模型。
3、浅层学习与深度学习的不同
深度学习的实质，是通过构建具有很多隐层的机器学 习模型和海量的训练数据，来学习更有用的特征，从而最 终提升分类或预测的准确性。因此，“深度模型”是手段， “特征学习”是目的。
区别于传统的浅层学习，深度学习的不同在于： 1）强调了模型结构的深度，通常有5层、6层，甚至10多层 的隐层节点； 2）明确突出了特征学习的重要性，也就是说，通过逐层特 征变换，将样本在原空间的特征表示变换到一个新特征空 间，从而使分类或预测更加容易。利用大数据来学习特征， 更能够刻画数据的丰富内在信息。
深度学习的概念源于人工神经网络的研究。含多隐层的 多层感知器就是一种深度学习结构。深度学习通过组合低层 特征形成更加抽象的高层表示属性类别或特征，以发现数据 的分布式特征表示。
5
四、怎么来的？
从机器学习的模型结构层次来分，机器学习经历了两次浪潮 ：
1、浅层学习（Shallow Learning）：机器学习第一次浪潮 2、深度学习（Deep Learning）：机器学习第二次浪潮
相比之下，由于理论分析的难度大，训练方法又需要 很多经验和技巧，这个时期深度人工神经网络反而相对沉 寂。
8
2、深度学习
2006年，加拿大多伦多大学教授、机器学习领域的泰斗 Geoffrey Hinton等在《Science》上发表了一篇文章[1] ，开启了深度学习在学术界和工业界的浪潮。 这篇文章有两个主要观点： 1）多隐层的人工神经网络具有优异的特征学习能力，学习 得到的特征对数据有更本质的刻画，从而有利于可视化或 分类。 2）深度神经网络在训练上的难度，可以通过“逐层初始化 ”来有效克服，在这篇文章中，逐层初始化是通过无监督 学习实现的。
2
一、机器学习
机器学习（Machine Learning）是一门专门研究计算机怎 样模拟或实现人类的学习行为，以获取新的知识或技能，重新 组织已有的知识结构使之不断改善自身的性能的学科。
简单的说，机器学习就是通过算法，使得机器能从大量的 历史数据中学习规律，从而对新的样本做智能识别或预测未来 。
1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个 程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4 年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜 了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展 示了机器学习的能力，提出了许多令人深思的社会问题与哲学 问题。
92、深Biblioteka 学习当前多数分类、回归等学习方法为浅层结构算法，其 局限性在于有限样本和计算单元情况下对复杂函数的表示 能力有限，针对复杂分类问题其泛化能力受到一定制约。
深度学习可通过学习一种深层非线性网络结构，实现 复杂函数逼近，表征输入数据分布式表示，并展现了强大 的从少数样本中集中学习数据集本质特征的能力。（多层 的好处是可以用较少的参数表示复杂的函数）
7
1、浅层学习
20世纪90年代，各种各样的浅层机器学习模型相继被 提出，例如支撑向量机（SVM）、 Boosting、最大熵方法 （LR）等。
这些模型的结构基本上可以看成带有一层隐层节点（ 如SVM、Boosting），或没有隐层节点（如LR）。这些模 型无论是在理论分析还是应用中都获得了巨大的成功。
这种程序水平达到一定程度很容易，但再进一步就不容易了。 深蓝是90年代机器学习理论有了突破之后才出来的。
3
二、Why?
机器学习虽然发展了几十年，但还是存在很多没有良好解决的 问题。例如以视觉感知为例，通过机器学习去解决这些问题的 思路：
Input
Feature Representation
Learning
[1] Hinton, Geoffrey;Osindero, Simon;Welling, Max;Teh, Yee-Whye . Unsupervised Discovery of Nonlinear Structure Using Contrastive Backpropagation. Science.2006(30)4: 725-732.
12
不同点：采用了不同的训练机制。 传统神经网络中，采用的是反向传播（BP）的方式进
浅谈深度学习（DeepLearning）
专业：计算机技术 1
主要内容
2006年以来，机器学习领域中一个叫“深度学习”的课 题开始受到学术界广泛关注，如今拥有大数据的互联网公 司争相投入大量资源研发深度学习技术。
一、机器学习 二、为什么有 Deep learning？Why? 三、什么是 Deep learning？What? 四、怎么来的？ 五、Deep learning与神经网络的异同
Algorithm 手工选取特征不太好，那么能不能自动地学习一些特征呢？
答案是能！Deep Learning就是用来干这个事情的，它有一个别
名Unsupervised Feature Learning。
Why？
答案：让机器自动学习良好的特征，而免去人工选取过程。
4
三、What？
深度学习是机器学习研究中的一个新的领域，其动机在 于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的 机制来解释数据，例如图像，声音和文本。 深度学习是无监督学习的一种。
11
四、深度学习与神经网络的异同
深度学习与传统的神经网络之间有相同的地方也有很 多不同。
相同点：深度学习采用了神经网络相似的分层结构，系 统由包括输入层、隐层（多层）、输出层组成的多层网络 ，只有相邻层节点之间有连接，同一层以及跨层节点之间 相互无连接，每一层可以看作是一个逻辑回归模型；这种 分层结构，是比较接近人类大脑的结构的。
6
1、浅层学习
20世纪80年代末期，由于人工神经网络的反向传播算 法（BP算法）的发明，给机器学习带来了希望，掀起了基 于统计模型的机器学习热潮。这个热潮一直持续到今天。
基于统计的机器学习方法可以让一个人工神经网络模 型从大量训练样本中学习统计规律，从而对未知事件做预 测。
这个时候的人工神经网络，虽也被称作多层感知机 （Multi-layer Perceptron），但实际是一种只含有一层 隐层节点的浅层模型。