深度卷积神经网络共108页
合集下载
CNN(卷积神经网络) ppt课件
为了处理一维序列数据，便有了循环神经网络，以及基于循环神经网络 优化而来的lstm,attention机制等．
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
CNN处理图像
卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6
卷积神经网络池化有最大池化(max_pool)和平均池化(avg_pool)，顾名 思义，最大池化取区域内最大值，平均池化取区域内平均值．其它池化包 括L 2 范数以及依靠据中心像素距离的加权平均池化．
ＣＮＮ池化过程
CNN 特性－池化
为什么要池化？
１．减少参数的量，提高计算效率． ２．最大池化能显著增强局部特征，平均池化可减少噪声．
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
CNN特性－权值共享和多卷积核
卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化．
权值共享
请在这里输入论文答辩
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
CNN处理图像
卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6
卷积神经网络池化有最大池化(max_pool)和平均池化(avg_pool)，顾名 思义，最大池化取区域内最大值，平均池化取区域内平均值．其它池化包 括L 2 范数以及依靠据中心像素距离的加权平均池化．
ＣＮＮ池化过程
CNN 特性－池化
为什么要池化？
１．减少参数的量，提高计算效率． ２．最大池化能显著增强局部特征，平均池化可减少噪声．
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
CNN特性－权值共享和多卷积核
卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化．
权值共享
请在这里输入论文答辩
卷积神经网络纯净版ppt课件
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻域 相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍将C5 标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的保持不 变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
5
完整最新ppt
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
14
完整最新ppt
LeNet-5
3. 根据对前面C1层同样的理解，我们很容易得到C3层的大小为10x10. 只不过，C3层的变成了16个 10x10网络，有16个卷积核。 如果S2层只有1个平面，那么由S2层得到C3就和由输入层得到C1层是完 全一样的。但是，S2层由多层，那么，只需要按照一定的顺利组合这些层就可以了。具体的组合规 则，在 LeNet-5 系统中给出了下面的表格：
什么是池化？
• 池化层主要的作用是下采样，通过去掉Feature Map 中不重要的样本，进一步减少参数数量。
• 池化的方法很多，最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值，作为采 样后的样本值。右图是2*2 max
卷积神经网络ppt课件
6. F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层 全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量 和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数 产生节点的输出。
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为 例
Layer l-1
Layer l
24
池化层的误差传递
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻 域相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍 将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的 保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的
输 出
layer l
L
层 的 误 差
L
层 的 输 入
18
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为 例
Layer l-1
Layer l
24
池化层的误差传递
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻 域相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍 将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的 保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的
输 出
layer l
L
层 的 误 差
L
层 的 输 入
18
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
深度学习-CNN卷积神经网络PPT课件
右图就是一个2维卷积的示意图，这里因为是 离散的卷积，所以可以直接把卷积理解为矩阵 相乘，即两个矩阵相乘，一个是输入矩阵，一 个是卷积核矩阵。输入矩阵一般都表示二维的 输入图像，而卷积核其实可以理解为图像处理 里面的算子，比如这些算子可以实现一些边缘 检测或者高斯模糊的效果，那么其实卷积操作 可以理解为对图像进行一些特征处理。
卷积层--convolution 池化层--pooling 全连接层—fully connected
江南大学-数媒学院-许鹏
2
CNN-Overview
卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物 的视觉皮质细胞负责在感知域内探测光照，受其启发，1980年Kunihiko Fukushima提出了一种 新型认知机并被认为是CNN的先驱。
Pooling Layer
有了pooling操作，我们就可以产生CNN的另外一种隐藏层了，就是pooling layer，这一层的产 生思想明确清晰，操作也简单。 如下图所示，由原始图像应用6个卷积核提取了6个feature map，然后针对这6个feature map做 pooling，还有一种叫法就是subsampling，即子采样，其实就和前面提到的稀疏连接和权值共 享一样，池化操作也会大大减少模型的参数。
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
0
0
1
0
-1
卷积层--convolution 池化层--pooling 全连接层—fully connected
江南大学-数媒学院-许鹏
2
CNN-Overview
卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物 的视觉皮质细胞负责在感知域内探测光照，受其启发，1980年Kunihiko Fukushima提出了一种 新型认知机并被认为是CNN的先驱。
Pooling Layer
有了pooling操作，我们就可以产生CNN的另外一种隐藏层了，就是pooling layer，这一层的产 生思想明确清晰，操作也简单。 如下图所示，由原始图像应用6个卷积核提取了6个feature map，然后针对这6个feature map做 pooling，还有一种叫法就是subsampling，即子采样，其实就和前面提到的稀疏连接和权值共 享一样，池化操作也会大大减少模型的参数。
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
0
0
1
0
-1
深度学习CNN卷积神经网络入门PPT课件
softmax
softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为 (0,1)的值，而这些值的累和为1
VGG刺猬特征图可视化
第一层卷积核学 到的图片特征
VGG刺猬特征图可视化
第一层特征图的细节比较清晰和输入图片较为相似，提取出了输入 图片的边缘。
VGG刺猬特征图可视化
结束语
当你尽了自己的最大努力时，失败也是伟大的， 所以不要放弃，坚持就是正确的。
When You Do Your Best, Failure Is Great, So Don'T Give Up, Stick To The End
感谢聆听
不足之处请大家批评指导
Please Criticize And Guide The Shortcomings
参数数目计算
C1有156个参数：(5*5+1)*6=156
S2有12个参数：因为S2中每个map中的每个点都与C1的四个点相连接进行池化，一般做完 池化操作比如取最大或平均，还要乘以一个数，再加一个bias，再非线性变换
C3有1516个参数：C3也是通过5*5的卷积核由14*14的map得到10*10的map，不过这里连接 方式有点复杂，共有(5*5*3+1)*6+(5*5*4+1)*9+(5*5*6+1)*1=1516个参数。
逻辑回归
过拟合与欠拟合
基础知识
过拟合与欠拟合
正则化
λ=1
λ=0
λ=100
过拟合与欠拟合解决方案
解决欠拟合(高偏差)的方法 1.增加神经网络的隐藏层数和隐藏单元数等 2.增加更多的特征 3.调整参数和超参数 超参数包括： 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、batch_size、正则化参数λ等 4.降低正则化约束
深度卷积神经网络ppt课件
简洁、普适的结构模型。 特征提取与分类器可以一起学习。
神经网络简要介绍
人类视觉机理：
David Hubel 和 TorstenWiesel 发现了视觉系 统的信息处理 方式，即视皮 层的分级特性， 获得1981年诺 贝尔生理学或 医学奖。
Low-level sensing
Preprocessing
人工神经网络发展历程
• 发展基础：
数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语
义化信息。 为自适应地学习非线性处理过程提供了一种可能的
感知机（Perceptron）
通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）
公式表达：
f (x) sign(w x)
w x 可看作对输入的空间变换
四种空间变换：维度、缩放、旋转、平移
感知机中的线性映射限制了模型的表达能力，线 性变化的组合仍为线性变化。
神经网络简要介绍
ANN基本构成：感知机（Perceptron）+激活函数
1、计算每层中每个节点的输出
y
m j
h(s
m j
)
h(
wimj
y m1 i
)
h()
为激活函数
2、在输出层计算损失
m j
h' (smj )(Tj
yi m j
)
Tj 为目标参考输出，一般从样本训练中得到。
神经网络简要介绍
神经网络简要介绍
人类视觉机理：
David Hubel 和 TorstenWiesel 发现了视觉系 统的信息处理 方式，即视皮 层的分级特性， 获得1981年诺 贝尔生理学或 医学奖。
Low-level sensing
Preprocessing
人工神经网络发展历程
• 发展基础：
数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语
义化信息。 为自适应地学习非线性处理过程提供了一种可能的
感知机（Perceptron）
通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）
公式表达：
f (x) sign(w x)
w x 可看作对输入的空间变换
四种空间变换：维度、缩放、旋转、平移
感知机中的线性映射限制了模型的表达能力，线 性变化的组合仍为线性变化。
神经网络简要介绍
ANN基本构成：感知机（Perceptron）+激活函数
1、计算每层中每个节点的输出
y
m j
h(s
m j
)
h(
wimj
y m1 i
)
h()
为激活函数
2、在输出层计算损失
m j
h' (smj )(Tj
yi m j
)
Tj 为目标参考输出，一般从样本训练中得到。
神经网络简要介绍
深度学习与卷积神经网络基础理论与实例分析ppt课件
11
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
12
3.1 初探----LeNet框架
3.卷积神经网络-CNN
LeCun 1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。 麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。
第三次兴起（2012年）：深度学习的兴 起，一直到现在。
• 发展基础： 数据爆炸：图像数据、文本数据、 语音数据、社交网络数据、科学计 算等 计算性能大幅提高
3
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
4
2.人脑视觉机理与特征表示
3.2 基本单元-----卷积层
3.卷积神经网络-CNN
如上图是LeNet-5，它的第一个卷积层含有6的feature map，每一个feature map对应一个卷积核，也就
对应提取了图像的一种特征。这里注意最终的feature map并不是做完卷积后的结果，然后还要加一个 非线性激活的操作，一般用ReLU函数，这个过程一般叫做detector stage。
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
输出: The network predicts what the
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
12
3.1 初探----LeNet框架
3.卷积神经网络-CNN
LeCun 1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。 麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。
第三次兴起（2012年）：深度学习的兴 起，一直到现在。
• 发展基础： 数据爆炸：图像数据、文本数据、 语音数据、社交网络数据、科学计 算等 计算性能大幅提高
3
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
4
2.人脑视觉机理与特征表示
3.2 基本单元-----卷积层
3.卷积神经网络-CNN
如上图是LeNet-5，它的第一个卷积层含有6的feature map，每一个feature map对应一个卷积核，也就
对应提取了图像的一种特征。这里注意最终的feature map并不是做完卷积后的结果，然后还要加一个 非线性激活的操作，一般用ReLU函数，这个过程一般叫做detector stage。
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
输出: The network predicts what the
CNN(卷积神经网络) ppt课件
Notes: 式1:
神经网络的结点计算
前向计算：
反向传播：
神经网络梯度传播(链式法则）
Notes:
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
卷积神经网络和深度学习的历史
卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深 刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之 一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿．
目录
Contents
3. CNN实现(tensorflow)
3.1.主流CNN模型介绍 3.2.使用tensorflow实现CNN 3.3.使用tensorflow实现其它模型
使用tensorflow搭建CNN
TensorFlow™ 是一个采用数据流图，用于数值计算的开源软件库。节点 在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组， 即张量（tensor）。
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
神经网络的结点计算
前向计算：
反向传播：
神经网络梯度传播(链式法则）
Notes:
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
卷积神经网络和深度学习的历史
卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深 刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之 一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿．
目录
Contents
3. CNN实现(tensorflow)
3.1.主流CNN模型介绍 3.2.使用tensorflow实现CNN 3.3.使用tensorflow实现其它模型
使用tensorflow搭建CNN
TensorFlow™ 是一个采用数据流图，用于数值计算的开源软件库。节点 在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组， 即张量（tensor）。
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
卷积神经网络(纯净版)ppt课件
Convolutional Neural Networks 卷积神经网络
1
Contents
• 机器学习，神经网络，深度学习之间的关系 • 什么是神经网络 • 梯度下降算法 • 反向传播算法 • 神经网络的训练 • 什么是卷积 • 什么是池化 • LeNet-5 • 其它的工作
2
Convolutional Neural Networks
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
• 神经元：
,
• 每个连接都有一个权值
4
图1.一个全连接的神经网络
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法 • 每次沿着梯度的反方向，即函数值下降最快的方向，去
修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
11
Convolutional Neural Networks
1
Contents
• 机器学习，神经网络，深度学习之间的关系 • 什么是神经网络 • 梯度下降算法 • 反向传播算法 • 神经网络的训练 • 什么是卷积 • 什么是池化 • LeNet-5 • 其它的工作
2
Convolutional Neural Networks
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
• 神经元：
,
• 每个连接都有一个权值
4
图1.一个全连接的神经网络
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法 • 每次沿着梯度的反方向，即函数值下降最快的方向，去
修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
11
Convolutional Neural Networks
人工智能原理与实践 第6章：卷积神经网络 -
降维 3 填充 4 数据格式
什么是填充值呢?
提到卷积层，就会不可避免地涉及填充这个名词以及填充值这个名词。那么，什么是填 充值呢?如图6-10所示，有一个5×5的图片，图片中的每一个格子都代表着一个像素，我 们依次滑动窗口，窗口大小我们取2×2，滑动步长我们设定为2，那么，我们会发现图中 会有一个像素没有办法滑动完毕，那么，该采用何种办法才能解决这样的问题呢？ 为了保证滑动操作能够顺利完成，我们需要在不足的部分上再补充一些像素，我们在原 先的矩阵图像上添加了一层填充值，使得图片变成了如图6-11所示的6×6的矩阵图像， 按照填充后的图像来进行步长为2的滑动，则刚好能够将所有像素遍历完成，这就是填充 值最显著的作用。
6.1：卷积神经网络
卷积神经网络（Convolutional Neural Network, CNN）是深度学习技术中 极具代表的网络结构之一，属于人工神经网络的一种。其应用最成功的领域就 是图像处理。在国际标准的ImageNet数据集上，许多成功的模型都是基于卷积神 经网络的应用。
卷积神经网络相较于传统的图像处理算法的优点在与避免了对图像处理时复 杂的前期预处理过程（提取人工特征等），可以直接输入原始图像。
1 输入和卷积核 2 降维 3 填充 4 数据格式
卷积是图像处理常用的方法，给定输入图像，在输出图像中每 一个像素是输入图像中一个小区域中像素的加权平均。其中权 值由一个函数定义，这个函数称为卷积核，比如说卷积公式：
R(u,v) G(u i, v j) f (i, j)
其中f为输入，G为卷积核。
该模型的基本参数为。
输入：224×224大小的图片，3通道。 第一层卷积：11×11大小的卷积核96个，每个GPU上48个。 第一层max-pooling：2×2的卷积核。 第二层卷积：5×5大小的卷积核256个，每个GPU上128个。 第二层max-pooling：2×2的卷积核。 第三层卷积：与上一层是全连接，3×3大小的的卷积核384个。分到两个GPU上各192 个。
什么是填充值呢?
提到卷积层，就会不可避免地涉及填充这个名词以及填充值这个名词。那么，什么是填 充值呢?如图6-10所示，有一个5×5的图片，图片中的每一个格子都代表着一个像素，我 们依次滑动窗口，窗口大小我们取2×2，滑动步长我们设定为2，那么，我们会发现图中 会有一个像素没有办法滑动完毕，那么，该采用何种办法才能解决这样的问题呢？ 为了保证滑动操作能够顺利完成，我们需要在不足的部分上再补充一些像素，我们在原 先的矩阵图像上添加了一层填充值，使得图片变成了如图6-11所示的6×6的矩阵图像， 按照填充后的图像来进行步长为2的滑动，则刚好能够将所有像素遍历完成，这就是填充 值最显著的作用。
6.1：卷积神经网络
卷积神经网络（Convolutional Neural Network, CNN）是深度学习技术中 极具代表的网络结构之一，属于人工神经网络的一种。其应用最成功的领域就 是图像处理。在国际标准的ImageNet数据集上，许多成功的模型都是基于卷积神 经网络的应用。
卷积神经网络相较于传统的图像处理算法的优点在与避免了对图像处理时复 杂的前期预处理过程（提取人工特征等），可以直接输入原始图像。
1 输入和卷积核 2 降维 3 填充 4 数据格式
卷积是图像处理常用的方法，给定输入图像，在输出图像中每 一个像素是输入图像中一个小区域中像素的加权平均。其中权 值由一个函数定义，这个函数称为卷积核，比如说卷积公式：
R(u,v) G(u i, v j) f (i, j)
其中f为输入，G为卷积核。
该模型的基本参数为。
输入：224×224大小的图片，3通道。 第一层卷积：11×11大小的卷积核96个，每个GPU上48个。 第一层max-pooling：2×2的卷积核。 第二层卷积：5×5大小的卷积核256个，每个GPU上128个。 第二层max-pooling：2×2的卷积核。 第三层卷积：与上一层是全连接，3×3大小的的卷积核384个。分到两个GPU上各192 个。