深度神经网络2PPT课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
cj mTxj|m|1:j
c: x:
▪ 二维卷积
25
▪ 稀疏连接 ▪ 参数共享
卷积
26
多卷积核
▪ 每个卷积核都会将图像生成为另一幅图像。
▪ 两个卷积核就可以将生成两幅图像，这两幅图像可以看做是一张图 像的不同的通道。
由4个通道卷积得到2个通道的过程
27
Pooling池化
▪通过卷积获得了特征 之后，下一步利用这些特征去做分类。
深度神经网络 II
Deep Neural Networks
gaowei.wu@ia.ac.cn 2015-10-27
1
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
内容
▪ 深度学习常用模型
7
▪ CD-K算法
RBM
8
▪ CD-1算法
RBM
9
AutoEncoder vs. RBM
10
Deep Boltzmann Machines
▪所有层间无向连接
▪ 同层神经元间无连接
▪高层表示由无标注数据建立 ▪标注数据仅用来微调网络
11Salakhutdinov & Hinton, 2009
DBM vs DBN
After discriminative fine-tuning: 0.95% error rate Compare with DBN 1.2%, SVM 1.4%
16
例：NORB dataset
▪ NORB dataset
17
例：NORB dataset
18
R. Salskhutdinov
Why Greedy Layer Wise Training Works
——Convolutional Neural NetwHale Waihona Puke Baidurks, CNN
20
Convolutional Neural Networks卷积神经网络
▪20世纪60年代，Hubel和Wiesel研究猫脑皮层
▪用于局部敏感和方向选择的神经元，其独特的网络结构可以有效地 降低反馈神经网络的复杂性
▪卷积神经网络是一种特殊的深层神经网络模型
▪ Regularization Hypothesis
▪ Pre-training is “constraining” parameters in a region relevant to unsupervised dataset
▪ Better generalization
▪ Representations that better describe unlabeled data are more discriminative for labeled data
▪它的神经元间的连接是非全连接的 ▪同一层中某些神经元之间的连接的权重是共享的（即相同的）。
21
Hubel-Wiesel结构
▪ 基于猫的初级视皮层(VI区)的研究。
▪ 简单细胞 ▪ 复杂细胞
▪ 两层神经网络模拟初级视皮层中的简单细胞和复杂细胞
▪ 每层的神经元被组织成二维平面 ▪ “简单细胞”层提取其输入中的局部特征 ▪ “复杂细胞”层组合“简单细胞”层中相应的子区域，使得整个网络 对局部变换具有一定的不变性。
▪ 多层模型中，层间的无向连接构成完全的Boltzmann机
Deep Boltzmann Machine
Deep Belie1f2Network
DBM
▪ 训练
▪ 训练时采用双方向（上下两层） ▪ 在训练单层时需同时考虑两个或者
多个隐含层 ▪ 能量模型与RBM不一样
13
两层DBM
14
DBM
▪Pre-training:
▪使用卷积时是利用了图像的“静态”特征 ▪Pooling, 对不同位置的特征进行聚合统计
4
回顾：Deep Belief Network, DBN
▪ 概率生成模型 ▪ 深层结构——多层
▪ 二值随机神经元
▪ 非监督的预学习 ▪ 监督微调(fine-tuning)
5
DBN Greedy training
6
RBM
▪ 学习目标：极大似然
N
max logp((vi)) i1
▪ 能量函数 E(v,h) = −vTWh − bTv − aTh ▪ 波尔兹曼分布
22
局部连接
▪ 局部感知野
▪ 图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素 相关性则较弱。
▪ 减少了需要训练的权值数目
23
局部连接
▪ 参数共享
▪ 图像的一部分的统计特性与其 他部分是一样的。
▪ 在输入的不同位置检测同一种 特征
▪ 平移不变性
24
Convolution卷积
▪ 一维卷积
▪Discriminative fine-tuning:
▪backpropagation
Deep Boltzmann Machine
15
例：两层BM
▪ MNIST: 2-layer BM
60,000 training and 10,000 testing examples 0.9 million parameters Gibbs sampler for 100,000 steps
▪Can (must) initialize from stacked RBMs
▪Generative fine-tuning:
▪Positive phase: variational approximation (mean-field) ▪Negative phase: persistent chain (stochastic approxiamtion)
▪ Optimization Hypothesis
▪ Unsupervised training initializes lower level parameters near localities of better minima than random initialization can
19
Deep Learning的常用模型
▪ Deep Boltzmann Machines, DBM ▪ Convolutional Neural Network, CNN ▪ Recurrent Neural Networks, RNN
▪ 深度学习的使用
3
Deep Learning的常用模型
——Deep Boltzmann Machines, DBM
c: x:
▪ 二维卷积
25
▪ 稀疏连接 ▪ 参数共享
卷积
26
多卷积核
▪ 每个卷积核都会将图像生成为另一幅图像。
▪ 两个卷积核就可以将生成两幅图像，这两幅图像可以看做是一张图 像的不同的通道。
由4个通道卷积得到2个通道的过程
27
Pooling池化
▪通过卷积获得了特征 之后，下一步利用这些特征去做分类。
深度神经网络 II
Deep Neural Networks
gaowei.wu@ia.ac.cn 2015-10-27
1
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
内容
▪ 深度学习常用模型
7
▪ CD-K算法
RBM
8
▪ CD-1算法
RBM
9
AutoEncoder vs. RBM
10
Deep Boltzmann Machines
▪所有层间无向连接
▪ 同层神经元间无连接
▪高层表示由无标注数据建立 ▪标注数据仅用来微调网络
11Salakhutdinov & Hinton, 2009
DBM vs DBN
After discriminative fine-tuning: 0.95% error rate Compare with DBN 1.2%, SVM 1.4%
16
例：NORB dataset
▪ NORB dataset
17
例：NORB dataset
18
R. Salskhutdinov
Why Greedy Layer Wise Training Works
——Convolutional Neural NetwHale Waihona Puke Baidurks, CNN
20
Convolutional Neural Networks卷积神经网络
▪20世纪60年代，Hubel和Wiesel研究猫脑皮层
▪用于局部敏感和方向选择的神经元，其独特的网络结构可以有效地 降低反馈神经网络的复杂性
▪卷积神经网络是一种特殊的深层神经网络模型
▪ Regularization Hypothesis
▪ Pre-training is “constraining” parameters in a region relevant to unsupervised dataset
▪ Better generalization
▪ Representations that better describe unlabeled data are more discriminative for labeled data
▪它的神经元间的连接是非全连接的 ▪同一层中某些神经元之间的连接的权重是共享的（即相同的）。
21
Hubel-Wiesel结构
▪ 基于猫的初级视皮层(VI区)的研究。
▪ 简单细胞 ▪ 复杂细胞
▪ 两层神经网络模拟初级视皮层中的简单细胞和复杂细胞
▪ 每层的神经元被组织成二维平面 ▪ “简单细胞”层提取其输入中的局部特征 ▪ “复杂细胞”层组合“简单细胞”层中相应的子区域，使得整个网络 对局部变换具有一定的不变性。
▪ 多层模型中，层间的无向连接构成完全的Boltzmann机
Deep Boltzmann Machine
Deep Belie1f2Network
DBM
▪ 训练
▪ 训练时采用双方向（上下两层） ▪ 在训练单层时需同时考虑两个或者
多个隐含层 ▪ 能量模型与RBM不一样
13
两层DBM
14
DBM
▪Pre-training:
▪使用卷积时是利用了图像的“静态”特征 ▪Pooling, 对不同位置的特征进行聚合统计
4
回顾：Deep Belief Network, DBN
▪ 概率生成模型 ▪ 深层结构——多层
▪ 二值随机神经元
▪ 非监督的预学习 ▪ 监督微调(fine-tuning)
5
DBN Greedy training
6
RBM
▪ 学习目标：极大似然
N
max logp((vi)) i1
▪ 能量函数 E(v,h) = −vTWh − bTv − aTh ▪ 波尔兹曼分布
22
局部连接
▪ 局部感知野
▪ 图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素 相关性则较弱。
▪ 减少了需要训练的权值数目
23
局部连接
▪ 参数共享
▪ 图像的一部分的统计特性与其 他部分是一样的。
▪ 在输入的不同位置检测同一种 特征
▪ 平移不变性
24
Convolution卷积
▪ 一维卷积
▪Discriminative fine-tuning:
▪backpropagation
Deep Boltzmann Machine
15
例：两层BM
▪ MNIST: 2-layer BM
60,000 training and 10,000 testing examples 0.9 million parameters Gibbs sampler for 100,000 steps
▪Can (must) initialize from stacked RBMs
▪Generative fine-tuning:
▪Positive phase: variational approximation (mean-field) ▪Negative phase: persistent chain (stochastic approxiamtion)
▪ Optimization Hypothesis
▪ Unsupervised training initializes lower level parameters near localities of better minima than random initialization can
19
Deep Learning的常用模型
▪ Deep Boltzmann Machines, DBM ▪ Convolutional Neural Network, CNN ▪ Recurrent Neural Networks, RNN
▪ 深度学习的使用
3
Deep Learning的常用模型
——Deep Boltzmann Machines, DBM