卷积神经网络PPT演示课件
合集下载
深度学习与卷积神经网络基础理论与实例分析ppt课件
1.概述与背景
1.1 人工智能、机器学习、深度学习、数据挖掘之间的关系
数据挖掘
深度学习 机器学习
人工智能
1.2 神经网络兴衰史
1.概述与背景
第一次兴起（1958年）：感知机，由于 没有引入非线性，不能求解异或问题。
第二次兴起（1986年）：将BP(Back Propagation)神经网络的提出。
深度(Depth) 深度就是卷积操作中用到的滤波 器个数。这里对图片用了两个不 同的滤波器，从而产生了两个特 征映射。你可以认为这两个特征 映射也是堆叠的2d矩阵，所以这 里特征映射的“深度”就是2。
3.2 基本单元-----非线性（激励层）
3.卷积神经网络-CNN
激活函数一般用于卷积层和全连接层之后 激活函数是深度网络非线性的主要来源
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
输出: The network predicts what the object most likely is, based on its training
Sigmoid 梯度消失问题
ReLU
解决梯度消失问题 收敛速度非常快 神经元死亡问题
3.2 基本单元-----池化层
3.卷积神经网络-CNN
空间池化，也叫亚采样或下采样降低了每个特征映射的维度，但是保留了最重要的信息。
空间池化可以有很多种形式：最大(Max)，平均(Average)，求和(Sum)等等。最大池化成效最好。
目录
人脑视觉机理
01
与特征表示
1.1 人工智能、机器学习、深度学习、数据挖掘之间的关系
数据挖掘
深度学习 机器学习
人工智能
1.2 神经网络兴衰史
1.概述与背景
第一次兴起（1958年）：感知机，由于 没有引入非线性，不能求解异或问题。
第二次兴起（1986年）：将BP(Back Propagation)神经网络的提出。
深度(Depth) 深度就是卷积操作中用到的滤波 器个数。这里对图片用了两个不 同的滤波器，从而产生了两个特 征映射。你可以认为这两个特征 映射也是堆叠的2d矩阵，所以这 里特征映射的“深度”就是2。
3.2 基本单元-----非线性（激励层）
3.卷积神经网络-CNN
激活函数一般用于卷积层和全连接层之后 激活函数是深度网络非线性的主要来源
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
输出: The network predicts what the object most likely is, based on its training
Sigmoid 梯度消失问题
ReLU
解决梯度消失问题 收敛速度非常快 神经元死亡问题
3.2 基本单元-----池化层
3.卷积神经网络-CNN
空间池化，也叫亚采样或下采样降低了每个特征映射的维度，但是保留了最重要的信息。
空间池化可以有很多种形式：最大(Max)，平均(Average)，求和(Sum)等等。最大池化成效最好。
目录
人脑视觉机理
01
与特征表示
卷积神经网络原理推导
精选版课件ppt
17
•②求第I层第j个灵敏度map（公式2可得）：
说明：在下采样层map的权值W都取一个相同 值β，而且是一个常数。
•③第l层灵敏度δl：对第l层中的灵敏度map中 所有节点进行求和，由公式1可知，得到基的 梯度。
精选版课件ppt
18
(2)计算卷积核的梯度 •①对于一个给定的权值，对所有共享该权值 的连接对该点求梯度； •②然后对这些梯度进行求和。
精选版课件ppt
3
1.全连接层学习算法
• 1.1工作信号正向传播 • 1.2误差信号反向传播
精选版课件ppt
4
全连接层网络结构图
精选版课件ppt
5
2.1工作信号正向传播
(1)当前第l层的输出xl： •①先求ul：第l-1层的输出xl-1（第l层的输入） 与其对应权值Wl相乘，再加上基bl
•②再利用激活函数f(.) 得xl：sigmoid或Relu
精选版课件ppt
10
(2)权值调整
•①导数：
= X 误差E对于第l
层权值矩阵
第l层的输入 （即第l-1层
第l层的 灵敏度
Wl的导数
的输出）xl-1
向量δl
•②权值更新（公式3）：
对于每一个权值Wij都有 一个特定的学习率ηIj
精选版课件ppt
11
2.卷积层学习算法
• 2.1工作信号正向传播 • 2.2误差信号反向传播
•②总误差：每个样本（共N个）误差的和
精选版课件ppt
8
2.2误差信号反向传播
• 反向传播回来的误差可以看做是每个神经 元的基的灵敏度
• 灵敏度的意思就是基b变化多少，误差会变 化多少
深度学习史上最详细的卷积循环神经网络ppt
2021/3/11
11
卷积神经网络（CNN)介绍
激励层
把卷积层输出结果做非线性映射
CNN采用的激励函数一般为ReLU(The Rectified Linear Unit/修正线性 单元)，它的特点是收敛快，求梯度简单
2021/3/11
12
卷积神经网络（CNN)介绍
激励层
和前馈神经网络一样，经过线性组合和偏移后，会加入非线性增强模型 的拟合能力。
对于每个2*2的窗口选出最大的数作为输出矩阵的相应元素的值， 比如输入矩阵第一个2*2窗口中最大的数是6，那么输出矩阵的第一 个元素就是6，如此类推。
2021/3/11
14
卷积神经网络（CNN)介绍
池化过程
2021/3/11
15
卷积神经网络（CNN)介绍
池化过程
2021/3/11
16
卷积神经网络（CNN)介绍
2021/3/11
7
卷积神经网络（CNN)介绍
卷积计算层
2021/3/11
8
卷积神经网络（CNN)介绍
卷积计算层
2021/3/11
9
卷积层的计算过程
卷积运算的特点：通过卷积运算，可
2021/3/11
以使原信号特征增强，并且降低噪音 10
卷积层的计算过程
同一个图片，经过两个（红色、绿色）不同的filters扫描过后可得到不同 特点的Feature Maps。 每增加一个filter，就意味着你想让网络多抓取一个 特征。
• 局部关联。每个神经元看做一个滤波器(filter) • 窗口(receptive field)滑动， filter对局部数据计算
2021/3/11
6
卷积神经网络报告[优质ppt]
![卷积神经网络报告[优质ppt]](https://img.taocdn.com/s3/m/ce5f199c52d380eb62946dc6.png)
卷积神经网络介绍
AnnualReport
汇报人：龚志雄
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
AnnualReport
汇报人：龚志雄
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
深度学习CNN卷积神经网络入门PPT课件
softmax
softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为 (0,1)的值，而这些值的累和为1
VGG刺猬特征图可视化
第一层卷积核学 到的图片特征
VGG刺猬特征图可视化
第一层特征图的细节比较清晰和输入图片较为相似，提取出了输入 图片的边缘。
VGG刺猬特征图可视化
结束语
当你尽了自己的最大努力时，失败也是伟大的， 所以不要放弃，坚持就是正确的。
When You Do Your Best, Failure Is Great, So Don'T Give Up, Stick To The End
感谢聆听
不足之处请大家批评指导
Please Criticize And Guide The Shortcomings
参数数目计算
C1有156个参数：(5*5+1)*6=156
S2有12个参数：因为S2中每个map中的每个点都与C1的四个点相连接进行池化，一般做完 池化操作比如取最大或平均，还要乘以一个数，再加一个bias，再非线性变换
C3有1516个参数：C3也是通过5*5的卷积核由14*14的map得到10*10的map，不过这里连接 方式有点复杂，共有(5*5*3+1)*6+(5*5*4+1)*9+(5*5*6+1)*1=1516个参数。
逻辑回归
过拟合与欠拟合
基础知识
过拟合与欠拟合
正则化
λ=1
λ=0
λ=100
过拟合与欠拟合解决方案
解决欠拟合(高偏差)的方法 1.增加神经网络的隐藏层数和隐藏单元数等 2.增加更多的特征 3.调整参数和超参数 超参数包括： 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、batch_size、正则化参数λ等 4.降低正则化约束
深度学习卷积神经网络 (4)【精品PPT文档】
1
1. Background
2. Characteristic
3. Transfer Learning
4. MatConvNet
Background
In the 1960s, Hubel and Wiesel propose the local receptive field
when researching the visual cortex of cat.
Convolutions. CVPR 2015.
VGGNet Simonyan K, Zisserman A. A Very Deep Convolutional
Networks for Large-Scale Image Recognition. ICLR 2015.
ResNet He K, Zhang X, Ren S, et al. Deep Residual Learning for Image
MatConvNet
19
20Biblioteka 122imagenet-caffe-alex.mat
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 input conv1 relu1 norm1 pool1 conv2 relu2 norm2 pool2 conv3 relu3 conv4 relu4 conv5 relu5 pool5 fc6 relu6 fc7 relu7 fc8 prob 227x227x3 single 55x55x96 single 55x55x96 single 55x55x96 single 27x27x96 single 27x27x256 single 27x27x256 single 27x27x256 single 13x13x256 single 13x13x384 single 13x13x384 single 13x13x384 single 13x13x384 single 13x13x256 single 13x13x256 single 6x6x256 single 1x1x4096 single 1x1x4096 single 1x1x4096 single 1x1x4096 single 1x1x1000 single 1x1x1000 single
1. Background
2. Characteristic
3. Transfer Learning
4. MatConvNet
Background
In the 1960s, Hubel and Wiesel propose the local receptive field
when researching the visual cortex of cat.
Convolutions. CVPR 2015.
VGGNet Simonyan K, Zisserman A. A Very Deep Convolutional
Networks for Large-Scale Image Recognition. ICLR 2015.
ResNet He K, Zhang X, Ren S, et al. Deep Residual Learning for Image
MatConvNet
19
20Biblioteka 122imagenet-caffe-alex.mat
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 input conv1 relu1 norm1 pool1 conv2 relu2 norm2 pool2 conv3 relu3 conv4 relu4 conv5 relu5 pool5 fc6 relu6 fc7 relu7 fc8 prob 227x227x3 single 55x55x96 single 55x55x96 single 55x55x96 single 27x27x96 single 27x27x256 single 27x27x256 single 27x27x256 single 13x13x256 single 13x13x384 single 13x13x384 single 13x13x384 single 13x13x384 single 13x13x256 single 13x13x256 single 6x6x256 single 1x1x4096 single 1x1x4096 single 1x1x4096 single 1x1x4096 single 1x1x1000 single 1x1x1000 single
卷积神经网络CNN硬件实现PPT课件
卷积神经网络CNN 硬件实现
1
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
Main paper
• 2009/CNP: An FPGA-based Processor for Convolutional Networks
…, c8*x2; …, c8*x3; …, c8*x4;
10
2013A / new Architecture
• 二维卷积框图C
– 该卷积结构将卷积的计算与卷积 窗的输入值分隔开，经过比较， 优势在于右边的2D Array Processor可以多个同时进行并 行计算得到多个输出结果，实现 了输入数据的复用，而前一种则 由于没有分开所以无法实现
19
2013B/A Memory-Centric Architecture—ICCD
• The effect of the memory bottlenect can be reduced by a flexible memory hierarchy that supports the complex data access patterns in CNN workload.
c2*x2+c1*x1+c0*x0,
4. C0*x3, c1*x3+c0*x2,
c2*x3+c1*x2+c0*x1,
5. C0*x4, c1*x4+c0*x3,
c2*x4+c1*x3+c0*x2,
6. C0*x5, c1*x5+c0*x4,
c2*x5+c1*x4+c0*x3,
1
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
Main paper
• 2009/CNP: An FPGA-based Processor for Convolutional Networks
…, c8*x2; …, c8*x3; …, c8*x4;
10
2013A / new Architecture
• 二维卷积框图C
– 该卷积结构将卷积的计算与卷积 窗的输入值分隔开，经过比较， 优势在于右边的2D Array Processor可以多个同时进行并 行计算得到多个输出结果，实现 了输入数据的复用，而前一种则 由于没有分开所以无法实现
19
2013B/A Memory-Centric Architecture—ICCD
• The effect of the memory bottlenect can be reduced by a flexible memory hierarchy that supports the complex data access patterns in CNN workload.
c2*x2+c1*x1+c0*x0,
4. C0*x3, c1*x3+c0*x2,
c2*x3+c1*x2+c0*x1,
5. C0*x4, c1*x4+c0*x3,
c2*x4+c1*x3+c0*x2,
6. C0*x5, c1*x5+c0*x4,
c2*x5+c1*x4+c0*x3,
卷积神经网络报告ppt课件
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
3
卷积的过程
左边是被卷积图片的像素显示，其中的数 字代表每个像素点的像素值。中间的小图 片就是卷积核，卷积核会从图片的左上角 开始从左到右从上到下的进行卷积操作， 每一次的卷积操作如右图所示：卷积核里 的每个值与其对应位置的图片像素值相乘， 再将所有相乘的结果求和就得到了结果。
7
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
8
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
5
池化的过程
一般经过卷积操作后生成的图像尺寸还是 太大，为了减少网络计算的复杂度，需要 把卷及操作后的图片进行缩小，也就是进 行池化(Pooling)。池化字面理解就是把 图片分成一个个池子，常用的池化有最大 池化和平均池化，右图展示的是最大池化， 把图片分为了四个2*2的池子，选取每个 池子中的最大值作为结果。平均池化就是 取每个池子的平均值作为结果。右图中经 过池化图片尺寸就缩减为原图的一半。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
3
卷积的过程
左边是被卷积图片的像素显示，其中的数 字代表每个像素点的像素值。中间的小图 片就是卷积核，卷积核会从图片的左上角 开始从左到右从上到下的进行卷积操作， 每一次的卷积操作如右图所示：卷积核里 的每个值与其对应位置的图片像素值相乘， 再将所有相乘的结果求和就得到了结果。
7
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
8
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
5
池化的过程
一般经过卷积操作后生成的图像尺寸还是 太大，为了减少网络计算的复杂度，需要 把卷及操作后的图片进行缩小，也就是进 行池化(Pooling)。池化字面理解就是把 图片分成一个个池子，常用的池化有最大 池化和平均池化，右图展示的是最大池化， 把图片分为了四个2*2的池子，选取每个 池子中的最大值作为结果。平均池化就是 取每个池子的平均值作为结果。右图中经 过池化图片尺寸就缩减为原图的一半。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
隐含层的每一个神经元都连接10x10个图像区域，也就是说每 一个神经元存在10x10=100个连接权值参数。那如果我们每个神经 元这100个参数是相同，每个神经元用的是同一个卷积核去卷积图 像，这就是权值共享。
权值共享的优点：
一方面，重复单元能够对特征进行 识别，而不考虑它在可视域中的位置。 另一方面，权值 共享使得我们能更有 效的进行特征抽取，因为它极大的减少 了需要学习的自由变量的个数。通过控 制模型的规模，卷积网络对视觉问题可 以具有很好的泛化能力。
• CNNs它利用空间关系减少需要学习的参数数目以提高一般前 向BP算法的训练性能。CNNs作为一个深度学习架构提出是为 了最小化数据的预处理要求。在CNN中，图像的一小部分（局 部感受区域）作为层级结构的最低层的输入，信息再依次传输 到不同的层，每层通过一个数字滤波器去获得观测数据的最显 著的特征。这个方法能够获取对平移、缩放和旋转不变的观测 数据的显著特征，因为图像的局部感受区域允许神经元或者处 理单元可以访问到最基础的特征，例如定向边缘。
卷积神经网络应用
• LeNet-5手写数字识别
C1层： 输入图片大小： 卷积窗大小： 卷积窗种类： 输出特征图数量： 输出特征图大小： 神经元数量： 连接数： 可训练参数：
32*32 5*5 6 6 28*28 4707 122304 156
C1层是一个卷积层，卷积运算一个重
要的特点就是，通过卷积运算，可以使原 信号特征增强，并且降低干扰，由6个特征 图Feature Map构成。特征图中每个神经元 与输入中5*5的邻域相连。特征图的大小为 28*28，这样能防止输入的连接掉到边界之 外。C1有ቤተ መጻሕፍቲ ባይዱ56个可训练参数（每个滤波器 5*5=25个unit参数和一个bias参数，一共6 个滤波器，共(5*5+1)*6=156个参数），共 (5*5+1)*6*(28*28)=122,304个连接。
mean-pooling，即对邻域内特征点只求 平均，max-pooling，即对邻域内特征点取
最大。根据相关理论，特征提取的误差主要 来自两个方面：（1）邻域大小受限造成的 估计值方差增大；（2）卷积层参数误差造 成估计均值的偏移。一般来说，meanpooling能减小第一种误差，更多的保留图像 的背景信息，max-pooling能减小第二种误 差，更多的保留纹理信息。
卷积和子采样过程：
4
5
卷积神经网络的结构
卷积神经网络是一个多层的神经网络，每层由多个二维平面组 成，而每个平面由多个独立神经元组成。
• 输入图像通过和三个可训练的滤波器和可加偏置 进行卷积，滤波过程如图，卷积后在C1层产生三 个特征映射图，然后特征映射图中每组的四个像
素再进行求和，加权值，加偏置，通过一个 Sigmoid函数得到三个S2层的特征映射图。这些 映射图再进过滤波得到C3层。这个层级结构再和 S2一样产生S4。最终，这些像素值被光栅化，并 连接成一个向量输入到传统的神经网络，得到输 出。
C层为卷积层(Convolution)，每个神经元的输入与前一层的局 部感受野相连，并提取该局部的特征，一旦该局部特征被提取 后，它与其他特征间的位置关系也随之确定下来
• S层是采样层（subsampling）也叫池化层（pooling），网络的每个 计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有 神经元的权值相等。pooling的目的就是为了使参数量减少，使得特征 映射具有某种不变性（旋转、平移、伸缩等）。
S2层：
输入图片大小： (28*28)*6
卷积窗大小：
2*2
卷积窗种类：
6
输出下采样图数量： 6
输出下采样图大小：(14*14)*6
神经元数量：
1176
连接数：
5880
可训练参数：
12
S2层是一个采样层，利用图像局
部相关性的原理，对图像进行子抽样，
可以减少数据处理量同时保留有用信息， 有6个14*14的特征图。特征图中的每 个单元与C1中相对应特征图的2*2邻域 相连接。6个2*2的小方框,每个有一个 参数,加上一个偏置,也就是(1+1)*6=12 个可训练参数，对于S2层的每一个图 的每一个点,连接数是(2*2+1)=5,总共是 14*14*6*(2*2+1)=5880个连接。
• 深度学习能够获得可更好地表示数据的特征，同时由于模 型的层次深）、表达能力强，因此有能力表示大规模数据。
• 对于图像、语音这种特征不明显（需要手工设计且很多没 有直观的物理含义）的问题，深度模型能够在大规模训练 数据上取得更好的效果。
• 卷积神经网络(Convolutional Neural Networks：CNN)是人工 神经网络(ANN)的一种，是深度学习的一种学习算法。它在图 像识别和分类、自然语言处理广告系统中都有应用。
• 参数减少与权值共享
如果我们有1000x1000像素的图像，有1百万个隐层神经元， 那么他们全连接的话（每个隐层神经元都连接图像的每一个像素 点），就有1000x1000x1000000=10^12个连接，也就是10^12个 权值参数。然而图像的空间联系是局部的，就像人是通过一个局部 的感受野去感受外界图像一样，每一个神经元都不需要对全局图像 做感受，每个神经元只感受局部的图像区域，然后在更高层，将这 些感受不同局部的神经元综合起来就可以得到全局的信息了。这样， 我们就可以减少连接的数目，也就是减少神经网络需要训练的权值 参数的个数了。假如局部感受野是10x10，隐层每个感受野只需要 和这10x10的局部图像相连接，所以1百万个隐层神经元就只有一亿 个连接，即10^8个参数。比原来减少了四个0（数量级），这样训 练起来就没那么费力了。
卷积神经网络（CNN）及其应用
1
主要内容
卷积神经网络—诞生背景与历程 卷积神经网络的结构 卷积神经网络应用—LeNet-5手写数字识别
2
深度学习的优势
• 深度学习通过学习一种深层非线性网络结构，只需简单的 网络结构即可实现复杂函数的逼近，并展现了强大的从大 量无标注样本集中学习数据集本质特征的能力。
权值共享的优点：
一方面，重复单元能够对特征进行 识别，而不考虑它在可视域中的位置。 另一方面，权值 共享使得我们能更有 效的进行特征抽取，因为它极大的减少 了需要学习的自由变量的个数。通过控 制模型的规模，卷积网络对视觉问题可 以具有很好的泛化能力。
• CNNs它利用空间关系减少需要学习的参数数目以提高一般前 向BP算法的训练性能。CNNs作为一个深度学习架构提出是为 了最小化数据的预处理要求。在CNN中，图像的一小部分（局 部感受区域）作为层级结构的最低层的输入，信息再依次传输 到不同的层，每层通过一个数字滤波器去获得观测数据的最显 著的特征。这个方法能够获取对平移、缩放和旋转不变的观测 数据的显著特征，因为图像的局部感受区域允许神经元或者处 理单元可以访问到最基础的特征，例如定向边缘。
卷积神经网络应用
• LeNet-5手写数字识别
C1层： 输入图片大小： 卷积窗大小： 卷积窗种类： 输出特征图数量： 输出特征图大小： 神经元数量： 连接数： 可训练参数：
32*32 5*5 6 6 28*28 4707 122304 156
C1层是一个卷积层，卷积运算一个重
要的特点就是，通过卷积运算，可以使原 信号特征增强，并且降低干扰，由6个特征 图Feature Map构成。特征图中每个神经元 与输入中5*5的邻域相连。特征图的大小为 28*28，这样能防止输入的连接掉到边界之 外。C1有ቤተ መጻሕፍቲ ባይዱ56个可训练参数（每个滤波器 5*5=25个unit参数和一个bias参数，一共6 个滤波器，共(5*5+1)*6=156个参数），共 (5*5+1)*6*(28*28)=122,304个连接。
mean-pooling，即对邻域内特征点只求 平均，max-pooling，即对邻域内特征点取
最大。根据相关理论，特征提取的误差主要 来自两个方面：（1）邻域大小受限造成的 估计值方差增大；（2）卷积层参数误差造 成估计均值的偏移。一般来说，meanpooling能减小第一种误差，更多的保留图像 的背景信息，max-pooling能减小第二种误 差，更多的保留纹理信息。
卷积和子采样过程：
4
5
卷积神经网络的结构
卷积神经网络是一个多层的神经网络，每层由多个二维平面组 成，而每个平面由多个独立神经元组成。
• 输入图像通过和三个可训练的滤波器和可加偏置 进行卷积，滤波过程如图，卷积后在C1层产生三 个特征映射图，然后特征映射图中每组的四个像
素再进行求和，加权值，加偏置，通过一个 Sigmoid函数得到三个S2层的特征映射图。这些 映射图再进过滤波得到C3层。这个层级结构再和 S2一样产生S4。最终，这些像素值被光栅化，并 连接成一个向量输入到传统的神经网络，得到输 出。
C层为卷积层(Convolution)，每个神经元的输入与前一层的局 部感受野相连，并提取该局部的特征，一旦该局部特征被提取 后，它与其他特征间的位置关系也随之确定下来
• S层是采样层（subsampling）也叫池化层（pooling），网络的每个 计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有 神经元的权值相等。pooling的目的就是为了使参数量减少，使得特征 映射具有某种不变性（旋转、平移、伸缩等）。
S2层：
输入图片大小： (28*28)*6
卷积窗大小：
2*2
卷积窗种类：
6
输出下采样图数量： 6
输出下采样图大小：(14*14)*6
神经元数量：
1176
连接数：
5880
可训练参数：
12
S2层是一个采样层，利用图像局
部相关性的原理，对图像进行子抽样，
可以减少数据处理量同时保留有用信息， 有6个14*14的特征图。特征图中的每 个单元与C1中相对应特征图的2*2邻域 相连接。6个2*2的小方框,每个有一个 参数,加上一个偏置,也就是(1+1)*6=12 个可训练参数，对于S2层的每一个图 的每一个点,连接数是(2*2+1)=5,总共是 14*14*6*(2*2+1)=5880个连接。
• 深度学习能够获得可更好地表示数据的特征，同时由于模 型的层次深）、表达能力强，因此有能力表示大规模数据。
• 对于图像、语音这种特征不明显（需要手工设计且很多没 有直观的物理含义）的问题，深度模型能够在大规模训练 数据上取得更好的效果。
• 卷积神经网络(Convolutional Neural Networks：CNN)是人工 神经网络(ANN)的一种，是深度学习的一种学习算法。它在图 像识别和分类、自然语言处理广告系统中都有应用。
• 参数减少与权值共享
如果我们有1000x1000像素的图像，有1百万个隐层神经元， 那么他们全连接的话（每个隐层神经元都连接图像的每一个像素 点），就有1000x1000x1000000=10^12个连接，也就是10^12个 权值参数。然而图像的空间联系是局部的，就像人是通过一个局部 的感受野去感受外界图像一样，每一个神经元都不需要对全局图像 做感受，每个神经元只感受局部的图像区域，然后在更高层，将这 些感受不同局部的神经元综合起来就可以得到全局的信息了。这样， 我们就可以减少连接的数目，也就是减少神经网络需要训练的权值 参数的个数了。假如局部感受野是10x10，隐层每个感受野只需要 和这10x10的局部图像相连接，所以1百万个隐层神经元就只有一亿 个连接，即10^8个参数。比原来减少了四个0（数量级），这样训 练起来就没那么费力了。
卷积神经网络（CNN）及其应用
1
主要内容
卷积神经网络—诞生背景与历程 卷积神经网络的结构 卷积神经网络应用—LeNet-5手写数字识别
2
深度学习的优势
• 深度学习通过学习一种深层非线性网络结构，只需简单的 网络结构即可实现复杂函数的逼近，并展现了强大的从大 量无标注样本集中学习数据集本质特征的能力。