卷积神经网络在图像识别中的应用
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
反向传播就是误差的反向反馈和权值的更新。
网络训练流程图
图像输入
参数初始化
卷积和采样 过程
误差反馈 权值更新 前向反馈 前 向 传 播
全连接层
反 向 传 播 变换、计算
输出层
增强、逻辑回归 否
是否符 合期望
是
输出结果
Olivetti Faces是纽约大学的一个比较小的人脸库 包含40个人的人脸图片，每个人10张人脸样本，共400份样本
取平均值 9
卷积神经网络的训练过程
第一阶段：前向传播过程 1. 从样本集中取一个样本输入到网络中； 2. 计算相应的实际输出；
在这个阶段，输入的信息经过逐层变换，传输到输出层。主要是前向的 特征提取。
第二阶段：反向传播过程 1. 计算实际输出与期望输出的差； 2. 按极小化误差的方法反向传播，调整权值矩阵；
3.
用卷积神经网络做图像处理时，原始图像不需要太多的预处 理就可以较好地学习到图像的不变性特征。
4.
权值共享、局部感受野和子采样是卷积神经网络不同于其它
神经网络的三个主要特征。
卷积神经网络模型
NN
输入
1. 2. 3. 4. 5.
C1
S2
C3
S4
输入图像通过滤波器和可加偏置进行卷积得到C1层； 对C1层的特征图进行下采样得到S2层； 对S2层的特征图进行卷积得到C3层； 对C3层的特征图进行下采样得到S4层； S4层的特征图光栅化后变成的向量输入到传统的全连接神经网络进行进一步分类，得到输 出；
结构组织的用于转化图像的网络Neocognition.
3.
根据Fukushima的观点，LeCun提出了以LeNet为代表的卷积神 经网络。
卷积神经网络的特点
1.
卷积神经网络是一类特别设计用来处理二维数据的多层神经
网络。
2.
卷积神经网络被认为是第一个真正成功的采用多层层次结构 网络的具有鲁棒性的深度学习方法。
wk.baidu.com
卷积神经网络的发展及其特点 卷积神经网络模型 卷积神经网络的训练
卷积神经网络应用于人脸识别
卷积神经网络的发展
1.
Hubel和Wiesel在研究猫脑皮层中用于局部敏感方向选择的神 经元时，发现其独特的网络结构可以有效降低反馈神经网络 的复杂性。
2.
Fukushima提出了第一个基于神经元之间的局部连接型和层次
程序模块介绍
1. 加载图像数据函数： load_data(dataset_path) 2. 卷积+采样层：class LeNetConvPoolLayer(object) 3. 全连接层（隐藏层）： class HiddenLayer(object) 4. 分类器，即CNN最后一层： class LogisticRegression(object) 5. 保存训练参数函数： save_params(param1,param2,param3,param4)
程序所参考的卷积神经网络结构：LeNet-5
两个“卷积+子采样层”LeNetConvPoolLayer 全连接层相当于MLP（多层感知机）中的隐含层HiddenLayer 输出层采用逻辑回归LogisticRegression
input+layer0(LeNetConvPoolLayer)+layer1(LeNetConvPoolLayer)+layer2(HiddenLayer)+layer3(LogisticRegression)
//从一个2*2的区域里maxpooling 出1个像素
卷积和下采样（降采样）过程
input
∑ X ∑
*
∑
卷积过程
1 0
0 0 0
1 1
0 0 1
1 1
1 1 1
0 1
1 1 0
0 0
1 0 0 卷积特征 × 1 0 1 0 1 0 1 0 1 4
图像
池化过程：取某个特定区域的最大值或平均值
5 3 6 9 2 8 1 1 4 6 8 3 9 1 3 8
程序中可设置的参数
learning_rate = 0.05 batch_size = 40 n_epochs = 100 nkerns = [20, 50] poolsize = (2, 2) //学习速率 //一次输入CNN的样本数 //最大训练步数 //第一层卷积核个数为20，
第二层卷积核个数为50
网络训练流程图
图像输入
参数初始化
卷积和采样 过程
误差反馈 权值更新 前向反馈 前 向 传 播
全连接层
反 向 传 播 变换、计算
输出层
增强、逻辑回归 否
是否符 合期望
是
输出结果
Olivetti Faces是纽约大学的一个比较小的人脸库 包含40个人的人脸图片，每个人10张人脸样本，共400份样本
取平均值 9
卷积神经网络的训练过程
第一阶段：前向传播过程 1. 从样本集中取一个样本输入到网络中； 2. 计算相应的实际输出；
在这个阶段，输入的信息经过逐层变换，传输到输出层。主要是前向的 特征提取。
第二阶段：反向传播过程 1. 计算实际输出与期望输出的差； 2. 按极小化误差的方法反向传播，调整权值矩阵；
3.
用卷积神经网络做图像处理时，原始图像不需要太多的预处 理就可以较好地学习到图像的不变性特征。
4.
权值共享、局部感受野和子采样是卷积神经网络不同于其它
神经网络的三个主要特征。
卷积神经网络模型
NN
输入
1. 2. 3. 4. 5.
C1
S2
C3
S4
输入图像通过滤波器和可加偏置进行卷积得到C1层； 对C1层的特征图进行下采样得到S2层； 对S2层的特征图进行卷积得到C3层； 对C3层的特征图进行下采样得到S4层； S4层的特征图光栅化后变成的向量输入到传统的全连接神经网络进行进一步分类，得到输 出；
结构组织的用于转化图像的网络Neocognition.
3.
根据Fukushima的观点，LeCun提出了以LeNet为代表的卷积神 经网络。
卷积神经网络的特点
1.
卷积神经网络是一类特别设计用来处理二维数据的多层神经
网络。
2.
卷积神经网络被认为是第一个真正成功的采用多层层次结构 网络的具有鲁棒性的深度学习方法。
wk.baidu.com
卷积神经网络的发展及其特点 卷积神经网络模型 卷积神经网络的训练
卷积神经网络应用于人脸识别
卷积神经网络的发展
1.
Hubel和Wiesel在研究猫脑皮层中用于局部敏感方向选择的神 经元时，发现其独特的网络结构可以有效降低反馈神经网络 的复杂性。
2.
Fukushima提出了第一个基于神经元之间的局部连接型和层次
程序模块介绍
1. 加载图像数据函数： load_data(dataset_path) 2. 卷积+采样层：class LeNetConvPoolLayer(object) 3. 全连接层（隐藏层）： class HiddenLayer(object) 4. 分类器，即CNN最后一层： class LogisticRegression(object) 5. 保存训练参数函数： save_params(param1,param2,param3,param4)
程序所参考的卷积神经网络结构：LeNet-5
两个“卷积+子采样层”LeNetConvPoolLayer 全连接层相当于MLP（多层感知机）中的隐含层HiddenLayer 输出层采用逻辑回归LogisticRegression
input+layer0(LeNetConvPoolLayer)+layer1(LeNetConvPoolLayer)+layer2(HiddenLayer)+layer3(LogisticRegression)
//从一个2*2的区域里maxpooling 出1个像素
卷积和下采样（降采样）过程
input
∑ X ∑
*
∑
卷积过程
1 0
0 0 0
1 1
0 0 1
1 1
1 1 1
0 1
1 1 0
0 0
1 0 0 卷积特征 × 1 0 1 0 1 0 1 0 1 4
图像
池化过程：取某个特定区域的最大值或平均值
5 3 6 9 2 8 1 1 4 6 8 3 9 1 3 8
程序中可设置的参数
learning_rate = 0.05 batch_size = 40 n_epochs = 100 nkerns = [20, 50] poolsize = (2, 2) //学习速率 //一次输入CNN的样本数 //最大训练步数 //第一层卷积核个数为20，
第二层卷积核个数为50