深度学习卷积神经网络报告【精品PPT文档】
合集下载
卷积神经网络ppt课件
6. F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层 全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量 和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数 产生节点的输出。
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为 例
Layer l-1
Layer l
24
池化层的误差传递
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻 域相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍 将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的 保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的
输 出
layer l
L
层 的 误 差
L
层 的 输 入
18
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为 例
Layer l-1
Layer l
24
池化层的误差传递
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻 域相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍 将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的 保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的
输 出
layer l
L
层 的 误 差
L
层 的 输 入
18
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
卷积神经网络报告课件
卷积神经网络介绍
Annual Report
汇报人：龚志雄
学习交流PPT
1
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
学习交流PPT
10
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。 这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
学习交流PPT
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
3
卷积的过程
左边是被卷积图片的像素显示，其中的数 字代表每个像素点的像素值。中间的小图 片就是卷积核，卷积核会从图片的左上角 开始从左到右从上到下的进行卷积操作， 每一次的卷积操作如右图所示：卷积核里 的每个值与其对应位置的图片像素值相乘， 再将所有相乘的结果求和就得到了结果。
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C1到S2的过程就是池化的过程，对C1层的六张图片进行池化操作，让每张图片的尺寸变为原来的一半。
Annual Report
汇报人：龚志雄
学习交流PPT
1
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
学习交流PPT
10
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。 这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
学习交流PPT
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
3
卷积的过程
左边是被卷积图片的像素显示，其中的数 字代表每个像素点的像素值。中间的小图 片就是卷积核，卷积核会从图片的左上角 开始从左到右从上到下的进行卷积操作， 每一次的卷积操作如右图所示：卷积核里 的每个值与其对应位置的图片像素值相乘， 再将所有相乘的结果求和就得到了结果。
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C1到S2的过程就是池化的过程，对C1层的六张图片进行池化操作，让每张图片的尺寸变为原来的一半。
深度学习Caffe卷积神经网络CNN【精品PPT文档】
计算各神经元重权 1 继承BP神经网络的优点
2 权值共享 3 加入卷积层 4 加入池化层
4.11 局部权值共享
1000x1000的图像，有1百万个隐层神 经元，那么他们全连接的话将产生10^12个 权重参数。
假如局部感受区域是10x10，那么1百 万个隐层神经元就只产生10^8个权重参数。
4.2 卷积层与池化层
输入图像相应的邻域与可训练的5x5特征块fx 卷积后，加偏置求和，生成卷积层特征图Cx。 Cx中每2x2邻域像素加权相加，再乘以一个可 训练的权重Wx+1，再加上一个可训练偏置bx+1， 最后通过非线性限幅函数得到压缩层特征图Sx+1。
5 Caffe开源库
特点：
1 C++/CUDA框架 2 提供Matlab和Python接口 3 高效稳定，网络设计简单 4 CPU与GPU无缝链接
5 AlexNet
5 AlexNet
name: “AlexNet" layer { name: "data" …} layer { name: "conv" …} layer { name: "pool" …} … more layers … layer { name: "loss" …}
top blob
Convolutional Neural Network
卷积神经网络
2 神经网络
单层结构
通过训练把各权 重估计出来，即 可构造出一个模 糊人脸数学模型
重权参数
1 j , 2 j , ..., nj
3 BP神经网络
多层结构
特点： 1 数据正向传播，计算输出层误差 2 误差反向传播，逐层修正各层权重 3 采用梯度下降法加快收敛速度
2 权值共享 3 加入卷积层 4 加入池化层
4.11 局部权值共享
1000x1000的图像，有1百万个隐层神 经元，那么他们全连接的话将产生10^12个 权重参数。
假如局部感受区域是10x10，那么1百 万个隐层神经元就只产生10^8个权重参数。
4.2 卷积层与池化层
输入图像相应的邻域与可训练的5x5特征块fx 卷积后，加偏置求和，生成卷积层特征图Cx。 Cx中每2x2邻域像素加权相加，再乘以一个可 训练的权重Wx+1，再加上一个可训练偏置bx+1， 最后通过非线性限幅函数得到压缩层特征图Sx+1。
5 Caffe开源库
特点：
1 C++/CUDA框架 2 提供Matlab和Python接口 3 高效稳定，网络设计简单 4 CPU与GPU无缝链接
5 AlexNet
5 AlexNet
name: “AlexNet" layer { name: "data" …} layer { name: "conv" …} layer { name: "pool" …} … more layers … layer { name: "loss" …}
top blob
Convolutional Neural Network
卷积神经网络
2 神经网络
单层结构
通过训练把各权 重估计出来，即 可构造出一个模 糊人脸数学模型
重权参数
1 j , 2 j , ..., nj
3 BP神经网络
多层结构
特点： 1 数据正向传播，计算输出层误差 2 误差反向传播，逐层修正各层权重 3 采用梯度下降法加快收敛速度
卷积神经网络报告[优质ppt]
![卷积神经网络报告[优质ppt]](https://img.taocdn.com/s3/m/ce5f199c52d380eb62946dc6.png)
卷积神经网络介绍
AnnualReport
汇报人：龚志雄
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
AnnualReport
汇报人：龚志雄
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
深度卷积神经网络ppt课件
简洁、普适的结构模型。 特征提取与分类器可以一起学习。
神经网络简要介绍
人类视觉机理：
David Hubel 和 TorstenWiesel 发现了视觉系 统的信息处理 方式，即视皮 层的分级特性， 获得1981年诺 贝尔生理学或 医学奖。
Low-level sensing
Preprocessing
人工神经网络发展历程
• 发展基础：
数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语
义化信息。 为自适应地学习非线性处理过程提供了一种可能的
感知机（Perceptron）
通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）
公式表达：
f (x) sign(w x)
w x 可看作对输入的空间变换
四种空间变换：维度、缩放、旋转、平移
感知机中的线性映射限制了模型的表达能力，线 性变化的组合仍为线性变化。
神经网络简要介绍
ANN基本构成：感知机（Perceptron）+激活函数
1、计算每层中每个节点的输出
y
m j
h(s
m j
)
h(
wimj
y m1 i
)
h()
为激活函数
2、在输出层计算损失
m j
h' (smj )(Tj
yi m j
)
Tj 为目标参考输出，一般从样本训练中得到。
神经网络简要介绍
神经网络简要介绍
人类视觉机理：
David Hubel 和 TorstenWiesel 发现了视觉系 统的信息处理 方式，即视皮 层的分级特性， 获得1981年诺 贝尔生理学或 医学奖。
Low-level sensing
Preprocessing
人工神经网络发展历程
• 发展基础：
数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语
义化信息。 为自适应地学习非线性处理过程提供了一种可能的
感知机（Perceptron）
通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）
公式表达：
f (x) sign(w x)
w x 可看作对输入的空间变换
四种空间变换：维度、缩放、旋转、平移
感知机中的线性映射限制了模型的表达能力，线 性变化的组合仍为线性变化。
神经网络简要介绍
ANN基本构成：感知机（Perceptron）+激活函数
1、计算每层中每个节点的输出
y
m j
h(s
m j
)
h(
wimj
y m1 i
)
h()
为激活函数
2、在输出层计算损失
m j
h' (smj )(Tj
yi m j
)
Tj 为目标参考输出，一般从样本训练中得到。
神经网络简要介绍
深度学习卷积神经网络在图像识别中的应用【精品PPT文档】
3.
用卷积神经网络做图像处理时，原始图像不需要太多的预处 理就可以较好地学习到图像的不变性特征。
4.
权值共享、局部感受野和子采样是卷积神经网络不同于其它
神经网络的三个主要特征。
卷积神经网络模型
NN
输入
1. 2. 3. 4. 5.
C1
S2
C3
S4
输入图像通过滤波器和可加偏置进行卷积得到C1层； 对C1层的特征图进行下采样得到S2层； 对S2层的特征图进行卷积得到C3层； 对C3层的特征图进行下采样得到S4层； S4层的特征图光栅化后变成的向量输入到传统的全连接神经网络进行进一步分类，得到输 出；
程序所参考的卷积神经网络结构：LeNet-5
两个“卷积+子采样层”LeNetConvPoolLayer 全连接层相当于MLP（多层感知机）中的隐含层HiddenLayer 输出层采用逻辑回归LogisticRegression
input+layer0(LeNetConvPoolLayer)+layer1(LeNetConvPoolLayer)+layer2(HiddenLayer)+layer3(LogisticRegression)
//从一个2*2的区域里maxpooling 出1个像素
程序中可设置的参数
learning_rate = 0.05 batch_size = 40 n_epochs = 100 nkerns = [20, 50] poolsize = (2, 2) //学习速率 //一次输入CNN的样本数 //最大训练步数 //第一层卷积核个数为20，
第二层卷积核个数为50
反向传播就是误差的反向反馈和权值的更新。
深度学习卷积神经网络CNNs-(AlexNet)【精品PPT文档】
������������������ = 5 ������������������������ = 5 ������������������������������������������ = 3 ������������������������������������������������ = 1 5= 5+2∗1−3 +1
4 https:///tag/darth-sidious-vs-yoda/
Convolution
/wiki/index.php/Feature_extraction_using_convolution
What is the number of parameters in this convolution layer? ������������������ = ������ ∗ ������ ∗ ������ ∗ ������
11
12
13
14
15
16
17
18
19
20
CNN Architectures
Get familiar with this
ZeroStride padding Channel
6
பைடு நூலகம்
Zero-padding
What is the size of the input? What is the size of the output? What is the size of the filter? What is the size of the zero-padding? ������������������������ = ������������������ + 2 ∗ ������������������������������������������������ − ������������������������������������������ + 1
CNN(卷积神经网络) ppt课件
Notes: 式1:
神经网络的结点计算
前向计算：
反向传播：
神经网络梯度传播(链式法则）
Notes:
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
卷积神经网络和深度学习的历史
卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深 刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之 一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿．
目录
Contents
3. CNN实现(tensorflow)
3.1.主流CNN模型介绍 3.2.使用tensorflow实现CNN 3.3.使用tensorflow实现其它模型
使用tensorflow搭建CNN
TensorFlow™ 是一个采用数据流图，用于数值计算的开源软件库。节点 在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组， 即张量（tensor）。
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
神经网络的结点计算
前向计算：
反向传播：
神经网络梯度传播(链式法则）
Notes:
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
卷积神经网络和深度学习的历史
卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深 刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之 一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿．
目录
Contents
3. CNN实现(tensorflow)
3.1.主流CNN模型介绍 3.2.使用tensorflow实现CNN 3.3.使用tensorflow实现其它模型
使用tensorflow搭建CNN
TensorFlow™ 是一个采用数据流图，用于数值计算的开源软件库。节点 在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组， 即张量（tensor）。
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
单击添加标题，建议您在展示时采 用微软雅黑字体
单击添加标题，建议您在展示时采 用微软雅黑体
传统的BP网络和CNN网络的区别
传统的BP网络包括输入层、隐藏层、输出 层。 下面的CNN网络以一张图片作为输入， 先经过卷积层得到C1，再经过池化层得 到S1，再经过卷积层得到C2，再经过池 化层得到S2。将S2的所有图片展开生成X， 之后连接上普通的全连接神经网络进行图 单击此处编辑内容
图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
右边的动图显示的是上一张图片的动态过程，左
边三张蓝色图片对应S2层的三张输入图片，中间
的两列的红色图片对应两个神经元中的卷积核， 右边两个绿色的图片对应C3层的两张输出图片。 单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
单击此处编辑内容
由C1到S2的过程就是池化的过程，对C1层的六张图片进行池化操作，让每张图片的尺寸变为原来的一半。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
从S2到C3的过程是我认为最重要也是最难理解的过程，从S2经过第二层卷积层生成了C3，这个过程和从Input 到C1一样是一个卷积的过程，但从Input到C1的过程输入只有一张图片也就是Input，但S2却有六张图片作为输 入，下面来说明一下从S2到C3的过程。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。 单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击添加标题，建议您在展示时采 用微软雅黑字体
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
在这个例子中，CNN的输入是一张32*32像素的黑白图片，其中每个像素点的像素值的范围在0~255。首先它会 经过第一层卷积层得到C1层，这个卷积层有六个神经元，每个神经元包含一个卷积核，每个卷积核对输入图片 进行卷积操作生成一张新的28*28的图片，这样经过了这层卷积层，就能得到图中C1层所示的六张图片。
单击添加标题，建议您在展示时采 用微软雅黑字体
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
片的分类。
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
卷积的过程
左边是被卷积图片的像素显示，其中的数 字代表每个像素点的像素值。中间的小图
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层
有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
多少个卷积核。右图中有三张图片的输入，两张
卷积神经网络介绍
卷积神经网络概述
单击此处辑内容 受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神
经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。 与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。 单击此处编辑内容
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
单击添加标题，建议您在展示时Байду номын сангаас 用微软雅黑字体
单击添加标题，建议您在展示时采 用微软雅黑体
池化的过程
一般经过卷积操作后生成的图像尺寸还是 太大，为了减少网络计算的复杂度，需要 把卷及操作后的图片进行缩小，也就是进 行池化(Pooling)。池化字面理解就是把 图片分成一个个池子，常用的池化有最大 池化和平均池化，右图展示的是最大池化， 把图片分为了四个2*2的池子，选取每个 池子中的最大值作为结果。平均池化就是 取每个池子的平均值作为结果。右图中经 过池化图片尺寸就缩减为原图的一半。 单击此处编辑内容
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
假设S4层只有右图所示的两张图片，则展开的过 程就是将所有的像素值从左到右从上到下的排列 下来，形成一个一维向量。 单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
片就是卷积核，卷积核会从图片的左上角
开始从左到右从上到下的进行卷积操作， 每一次的卷积操作如右图所示：卷积核里 的每个值与其对应位置的图片像素值相乘， 再将所有相乘的结果求和就得到了结果。 卷积核中的参数值最开始是随即生成的， CNN网络训练的目的就是训练卷积核里 的这些参数，这些参数相当于BP网络中的 权重w。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
卷积的过程
单击此处辑内容 右图是一个卷积的动态过程，黄色区域就是卷积
核，右下角的小数字是卷积核的参数，这里卷积 核的移动步长是一个单位。若原图尺寸为a*a， 卷积核尺寸为b*b，则卷积操作生成的图片尺寸 为(a-b+1)*(a-b+1)，也就是说生成的图片一般 会比原图小一些。 单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
传统的BP网络和CNN网络的区别
传统的BP网络包括输入层、隐藏层、输出 层。 下面的CNN网络以一张图片作为输入， 先经过卷积层得到C1，再经过池化层得 到S1，再经过卷积层得到C2，再经过池 化层得到S2。将S2的所有图片展开生成X， 之后连接上普通的全连接神经网络进行图 单击此处编辑内容
图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
右边的动图显示的是上一张图片的动态过程，左
边三张蓝色图片对应S2层的三张输入图片，中间
的两列的红色图片对应两个神经元中的卷积核， 右边两个绿色的图片对应C3层的两张输出图片。 单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
单击此处编辑内容
由C1到S2的过程就是池化的过程，对C1层的六张图片进行池化操作，让每张图片的尺寸变为原来的一半。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
从S2到C3的过程是我认为最重要也是最难理解的过程，从S2经过第二层卷积层生成了C3，这个过程和从Input 到C1一样是一个卷积的过程，但从Input到C1的过程输入只有一张图片也就是Input，但S2却有六张图片作为输 入，下面来说明一下从S2到C3的过程。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。 单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击添加标题，建议您在展示时采 用微软雅黑字体
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
在这个例子中，CNN的输入是一张32*32像素的黑白图片，其中每个像素点的像素值的范围在0~255。首先它会 经过第一层卷积层得到C1层，这个卷积层有六个神经元，每个神经元包含一个卷积核，每个卷积核对输入图片 进行卷积操作生成一张新的28*28的图片，这样经过了这层卷积层，就能得到图中C1层所示的六张图片。
单击添加标题，建议您在展示时采 用微软雅黑字体
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
片的分类。
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
卷积的过程
左边是被卷积图片的像素显示，其中的数 字代表每个像素点的像素值。中间的小图
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层
有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
多少个卷积核。右图中有三张图片的输入，两张
卷积神经网络介绍
卷积神经网络概述
单击此处辑内容 受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神
经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。 与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。 单击此处编辑内容
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
单击添加标题，建议您在展示时Байду номын сангаас 用微软雅黑字体
单击添加标题，建议您在展示时采 用微软雅黑体
池化的过程
一般经过卷积操作后生成的图像尺寸还是 太大，为了减少网络计算的复杂度，需要 把卷及操作后的图片进行缩小，也就是进 行池化(Pooling)。池化字面理解就是把 图片分成一个个池子，常用的池化有最大 池化和平均池化，右图展示的是最大池化， 把图片分为了四个2*2的池子，选取每个 池子中的最大值作为结果。平均池化就是 取每个池子的平均值作为结果。右图中经 过池化图片尺寸就缩减为原图的一半。 单击此处编辑内容
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
假设S4层只有右图所示的两张图片，则展开的过 程就是将所有的像素值从左到右从上到下的排列 下来，形成一个一维向量。 单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
片就是卷积核，卷积核会从图片的左上角
开始从左到右从上到下的进行卷积操作， 每一次的卷积操作如右图所示：卷积核里 的每个值与其对应位置的图片像素值相乘， 再将所有相乘的结果求和就得到了结果。 卷积核中的参数值最开始是随即生成的， CNN网络训练的目的就是训练卷积核里 的这些参数，这些参数相当于BP网络中的 权重w。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
卷积的过程
单击此处辑内容 右图是一个卷积的动态过程，黄色区域就是卷积
核，右下角的小数字是卷积核的参数，这里卷积 核的移动步长是一个单位。若原图尺寸为a*a， 卷积核尺寸为b*b，则卷积操作生成的图片尺寸 为(a-b+1)*(a-b+1)，也就是说生成的图片一般 会比原图小一些。 单击此处编辑内容