深度学习-CNN卷积神经网络PPT课件
合集下载
CNN(卷积神经网络) ppt课件
为了处理一维序列数据，便有了循环神经网络，以及基于循环神经网络 优化而来的lstm,attention机制等．
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
CNN处理图像
卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6
卷积神经网络池化有最大池化(max_pool)和平均池化(avg_pool)，顾名 思义，最大池化取区域内最大值，平均池化取区域内平均值．其它池化包 括L 2 范数以及依靠据中心像素距离的加权平均池化．
ＣＮＮ池化过程
CNN 特性－池化
为什么要池化？
１．减少参数的量，提高计算效率． ２．最大池化能显著增强局部特征，平均池化可减少噪声．
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
CNN特性－权值共享和多卷积核
卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化．
权值共享
请在这里输入论文答辩
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
CNN处理图像
卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6
卷积神经网络池化有最大池化(max_pool)和平均池化(avg_pool)，顾名 思义，最大池化取区域内最大值，平均池化取区域内平均值．其它池化包 括L 2 范数以及依靠据中心像素距离的加权平均池化．
ＣＮＮ池化过程
CNN 特性－池化
为什么要池化？
１．减少参数的量，提高计算效率． ２．最大池化能显著增强局部特征，平均池化可减少噪声．
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
CNN特性－权值共享和多卷积核
卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化．
权值共享
请在这里输入论文答辩
深度学习-CNN卷积神经网络PPT课件
右图就是一个2维卷积的示意图，这里因为是 离散的卷积，所以可以直接把卷积理解为矩阵 相乘，即两个矩阵相乘，一个是输入矩阵，一 个是卷积核矩阵。输入矩阵一般都表示二维的 输入图像，而卷积核其实可以理解为图像处理 里面的算子，比如这些算子可以实现一些边缘 检测或者高斯模糊的效果，那么其实卷积操作 可以理解为对图像进行一些特征处理。
卷积层--convolution 池化层--pooling 全连接层—fully connected
江南大学-数媒学院-许鹏
2
CNN-Overview
卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物 的视觉皮质细胞负责在感知域内探测光照，受其启发，1980年Kunihiko Fukushima提出了一种 新型认知机并被认为是CNN的先驱。
Pooling Layer
有了pooling操作，我们就可以产生CNN的另外一种隐藏层了，就是pooling layer，这一层的产 生思想明确清晰，操作也简单。 如下图所示，由原始图像应用6个卷积核提取了6个feature map，然后针对这6个feature map做 pooling，还有一种叫法就是subsampling，即子采样，其实就和前面提到的稀疏连接和权值共 享一样，池化操作也会大大减少模型的参数。
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
0
0
1
0
-1
卷积层--convolution 池化层--pooling 全连接层—fully connected
江南大学-数媒学院-许鹏
2
CNN-Overview
卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物 的视觉皮质细胞负责在感知域内探测光照，受其启发，1980年Kunihiko Fukushima提出了一种 新型认知机并被认为是CNN的先驱。
Pooling Layer
有了pooling操作，我们就可以产生CNN的另外一种隐藏层了，就是pooling layer，这一层的产 生思想明确清晰，操作也简单。 如下图所示，由原始图像应用6个卷积核提取了6个feature map，然后针对这6个feature map做 pooling，还有一种叫法就是subsampling，即子采样，其实就和前面提到的稀疏连接和权值共 享一样，池化操作也会大大减少模型的参数。
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
0
0
1
0
-1
深度学习CNN卷积神经网络入门PPT课件
softmax
softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为 (0,1)的值，而这些值的累和为1
VGG刺猬特征图可视化
第一层卷积核学 到的图片特征
VGG刺猬特征图可视化
第一层特征图的细节比较清晰和输入图片较为相似，提取出了输入 图片的边缘。
VGG刺猬特征图可视化
结束语
当你尽了自己的最大努力时，失败也是伟大的， 所以不要放弃，坚持就是正确的。
When You Do Your Best, Failure Is Great, So Don'T Give Up, Stick To The End
感谢聆听
不足之处请大家批评指导
Please Criticize And Guide The Shortcomings
参数数目计算
C1有156个参数：(5*5+1)*6=156
S2有12个参数：因为S2中每个map中的每个点都与C1的四个点相连接进行池化，一般做完 池化操作比如取最大或平均，还要乘以一个数，再加一个bias，再非线性变换
C3有1516个参数：C3也是通过5*5的卷积核由14*14的map得到10*10的map，不过这里连接 方式有点复杂，共有(5*5*3+1)*6+(5*5*4+1)*9+(5*5*6+1)*1=1516个参数。
逻辑回归
过拟合与欠拟合
基础知识
过拟合与欠拟合
正则化
λ=1
λ=0
λ=100
过拟合与欠拟合解决方案
解决欠拟合(高偏差)的方法 1.增加神经网络的隐藏层数和隐藏单元数等 2.增加更多的特征 3.调整参数和超参数 超参数包括： 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、batch_size、正则化参数λ等 4.降低正则化约束
深度学习之神经网络(CNN-RNN-GAN)算法原理+实战课件PPT模板可编辑全文
8-1图像生成文本问题引入入
8-5showandtell模型
8-2图像生成文本评测指标
8-4multi-modalrnn模型
8-6showattendandtell模型
8-10图像特征抽取(1)-文本描述文件解析
8-8图像生成文本模型对比与总结
8-9数据介绍，词表生成
8-7bottom-uptop-downattention模型
第6章图像风格转换
06
6-1卷积神经网络的应用
6-2卷积神经网络的能力
6-3图像风格转换v1算法
6-4vgg16预训练模型格式
6-5vgg16预训练模型读取函数封装
6-6vgg16模型搭建与载入类的封装
第6章图像风格转换
单击此处添加文本具体内容，简明扼要的阐述您的观点。根据需要可酌情增减文字，与类别封装
06
7-12数据集封装
第7章循环神经网络
7-13计算图输入定义
7-14计算图实现
7-15指标计算与梯度算子实现
7-18textcnn实现
7-17lstm单元内部结构实现
7-16训练流程实现
第7章循环神经网络
7-19循环神经网络总结
第8章图像生成文本
08
第8章图像生成文本
02
9-9文本生成图像text2img
03
9-10对抗生成网络总结
04
9-11dcgan实战引入
05
9-12数据生成器实现
06
第9章对抗神经网络
9-13dcgan生成器器实现
9-14dcgan判别器实现
9-15dcgan计算图构建实现与损失函数实现
9-16dcgan训练算子实现
9-17训练流程实现与效果展示9-14DCGAN判别器实现9-15DCGAN计算图构建实现与损失函数实现9-16DCGAN训练算子实现9-17训练流程实现与效果展示
8-5showandtell模型
8-2图像生成文本评测指标
8-4multi-modalrnn模型
8-6showattendandtell模型
8-10图像特征抽取(1)-文本描述文件解析
8-8图像生成文本模型对比与总结
8-9数据介绍，词表生成
8-7bottom-uptop-downattention模型
第6章图像风格转换
06
6-1卷积神经网络的应用
6-2卷积神经网络的能力
6-3图像风格转换v1算法
6-4vgg16预训练模型格式
6-5vgg16预训练模型读取函数封装
6-6vgg16模型搭建与载入类的封装
第6章图像风格转换
单击此处添加文本具体内容，简明扼要的阐述您的观点。根据需要可酌情增减文字，与类别封装
06
7-12数据集封装
第7章循环神经网络
7-13计算图输入定义
7-14计算图实现
7-15指标计算与梯度算子实现
7-18textcnn实现
7-17lstm单元内部结构实现
7-16训练流程实现
第7章循环神经网络
7-19循环神经网络总结
第8章图像生成文本
08
第8章图像生成文本
02
9-9文本生成图像text2img
03
9-10对抗生成网络总结
04
9-11dcgan实战引入
05
9-12数据生成器实现
06
第9章对抗神经网络
9-13dcgan生成器器实现
9-14dcgan判别器实现
9-15dcgan计算图构建实现与损失函数实现
9-16dcgan训练算子实现
9-17训练流程实现与效果展示9-14DCGAN判别器实现9-15DCGAN计算图构建实现与损失函数实现9-16DCGAN训练算子实现9-17训练流程实现与效果展示
深度卷积神经网络ppt课件
简洁、普适的结构模型。 特征提取与分类器可以一起学习。
神经网络简要介绍
人类视觉机理：
David Hubel 和 TorstenWiesel 发现了视觉系 统的信息处理 方式，即视皮 层的分级特性， 获得1981年诺 贝尔生理学或 医学奖。
Low-level sensing
Preprocessing
人工神经网络发展历程
• 发展基础：
数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语
义化信息。 为自适应地学习非线性处理过程提供了一种可能的
感知机（Perceptron）
通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）
公式表达：
f (x) sign(w x)
w x 可看作对输入的空间变换
四种空间变换：维度、缩放、旋转、平移
感知机中的线性映射限制了模型的表达能力，线 性变化的组合仍为线性变化。
神经网络简要介绍
ANN基本构成：感知机（Perceptron）+激活函数
1、计算每层中每个节点的输出
y
m j
h(s
m j
)
h(
wimj
y m1 i
)
h()
为激活函数
2、在输出层计算损失
m j
h' (smj )(Tj
yi m j
)
Tj 为目标参考输出，一般从样本训练中得到。
神经网络简要介绍
神经网络简要介绍
人类视觉机理：
David Hubel 和 TorstenWiesel 发现了视觉系 统的信息处理 方式，即视皮 层的分级特性， 获得1981年诺 贝尔生理学或 医学奖。
Low-level sensing
Preprocessing
人工神经网络发展历程
• 发展基础：
数据爆炸：图像数据、文本数据、语音数 据、社交网络数据、科学计算等
计算性能大幅提高
• 为什么有效
– 浅层神经网络可以近似任意函数，为何多层？
深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语
义化信息。 为自适应地学习非线性处理过程提供了一种可能的
感知机（Perceptron）
通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）
公式表达：
f (x) sign(w x)
w x 可看作对输入的空间变换
四种空间变换：维度、缩放、旋转、平移
感知机中的线性映射限制了模型的表达能力，线 性变化的组合仍为线性变化。
神经网络简要介绍
ANN基本构成：感知机（Perceptron）+激活函数
1、计算每层中每个节点的输出
y
m j
h(s
m j
)
h(
wimj
y m1 i
)
h()
为激活函数
2、在输出层计算损失
m j
h' (smj )(Tj
yi m j
)
Tj 为目标参考输出，一般从样本训练中得到。
神经网络简要介绍
[课件]卷积神经网络CNNPPT
![[课件]卷积神经网络CNNPPT](https://img.taocdn.com/s3/m/ce758cf9a58da0116c174978.png)
23
1998年LeNet——数字/字符识别
LeNet-5
Feature
map
a set of units whose weighs are constrained to be identical.
24
1998年LeNet——数字/字符识别
例如：C3层参数个数
(3*6+4*9+6*1)*25
33
VGG Net (2014)
K. Simonyan, A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014
34
140948422014sparseinteractions有限连接kernel比输入小连接数少很多学习难度小计算复杂度低sparseinteractions有限稀疏连接局部连接连接数少很多计算复杂度低层级感受野生物启发parametersharing参数共享tiedweights进一步极大的缩减参数数量equivariantrepresentations等变性配合pooling可以获得平移不变性三个步骤卷积突触前激活net非线性激活detectorpoolinglayer的两种定义复杂定义简单定义pooling10定义没有需要学习的参数replacescertainlocationsummarystatisticnearbyoutputs种类maxpoolingweightedaveragepoolingwhypooling
30
AlexNet for ImageNet
深度的重要性
深度学习与卷积神经网络基础理论与实例分析ppt课件
11
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
12
3.1 初探----LeNet框架
3.卷积神经网络-CNN
LeCun 1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。 麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。
第三次兴起（2012年）：深度学习的兴 起，一直到现在。
• 发展基础： 数据爆炸：图像数据、文本数据、 语音数据、社交网络数据、科学计 算等 计算性能大幅提高
3
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
4
2.人脑视觉机理与特征表示
3.2 基本单元-----卷积层
3.卷积神经网络-CNN
如上图是LeNet-5，它的第一个卷积层含有6的feature map，每一个feature map对应一个卷积核，也就
对应提取了图像的一种特征。这里注意最终的feature map并不是做完卷积后的结果，然后还要加一个 非线性激活的操作，一般用ReLU函数，这个过程一般叫做detector stage。
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
输出: The network predicts what the
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
12
3.1 初探----LeNet框架
3.卷积神经网络-CNN
LeCun 1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。 麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。
第三次兴起（2012年）：深度学习的兴 起，一直到现在。
• 发展基础： 数据爆炸：图像数据、文本数据、 语音数据、社交网络数据、科学计 算等 计算性能大幅提高
3
目录
0 1
概述与背景
人脑视觉机理 与特征表示
0 2
0 3
卷积神经 网络
TensorFlow的 相关介绍
0 4
4
2.人脑视觉机理与特征表示
3.2 基本单元-----卷积层
3.卷积神经网络-CNN
如上图是LeNet-5，它的第一个卷积层含有6的feature map，每一个feature map对应一个卷积核，也就
对应提取了图像的一种特征。这里注意最终的feature map并不是做完卷积后的结果，然后还要加一个 非线性激活的操作，一般用ReLU函数，这个过程一般叫做detector stage。
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
输出: The network predicts what the
深度学习卷积神经网络CNNs-(AlexNet)【精品PPT文档】
������������������ = 5 ������������������������ = 5 ������������������������������������������ = 3 ������������������������������������������������ = 1 5= 5+2∗1−3 +1
4 https:///tag/darth-sidious-vs-yoda/
Convolution
/wiki/index.php/Feature_extraction_using_convolution
What is the number of parameters in this convolution layer? ������������������ = ������ ∗ ������ ∗ ������ ∗ ������
11
12
13
14
15
16
17
18
19
20
CNN Architectures
Get familiar with this
ZeroStride padding Channel
6
பைடு நூலகம்
Zero-padding
What is the size of the input? What is the size of the output? What is the size of the filter? What is the size of the zero-padding? ������������������������ = ������������������ + 2 ∗ ������������������������������������������������ − ������������������������������������������ + 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如图所示，一个卷积操作就是指卷积核和同样 大小的一个图像矩阵相乘，然后再向下或者向 右滑动卷积核，执行下一个卷积操作。这样用 卷积核在整个图像上面滑动一遍便生成了一个 卷积层。
6
Convolution
右图的卷积核大小是2乘以2的，这可以看成是 一个Roberts边缘检测算子，和左面的Input中的 2*2矩阵做卷积运算相当于对点e的边缘检测。
卷积层--convolution 池化层--pooling 全连接层—fully connected
江南大学-数媒学院-许鹏
2
CNN-Overview
卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物 的视觉皮质细胞负责在感知域内探测光照，受其启发，1980年Kunihiko Fukushima提出了一种 新型认知机并被认为是CNN的先驱。
ResNet(2015)—champion of ILSVRC 2015
Yann LeCun: 纽约大学/Facebook
3
CNN-Overview
LeNet-5(1990)
AlexNet(2012)
ZFNet(2014) VGGNet(2015) GoogleNet(2014)
ResNet(2015)—champion of ILSVRC 2015
Roberts算子是一种最简单的算子，它利用局部 差分算子来寻找边缘信息，它采用对角线方向 相邻两像素之差来近似梯度检测边缘。
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
1990年，LeCun发表了一篇奠定现在CNN结构的重要文章，他们构建了一个叫做LeNet-5的多 层前馈神经网络，并将其用于手写体识别。就像其他前馈神经网络，它也可以使用反向传播 算法来训练。它之所以有效，是因为它能从原始图像学习到有效的特征，几乎不用对图像进 行预处理。然而由于当时训练数据量的缺乏以及计算能力的不足，LeNet-5无法在复杂问题上 表现的很好，比如大规模图像分类以及视频分类处理。
convolution operation and pooling operation sparse connectivity and parameter sharing and equivariant representation
5
Convolution
CNN的一个重要操作卷积是CNN的核心思想， 就是这个卷积有效的提取了图像特征用于后 面的图像识别。
自2006年以来，又有很多方法被提出来以克服在训练 deep CNNs时遇到的困难。其中很重要的一个是AlexNet 网络，它和LeNet-5很相似，但是在图像分类任务上有了 很大的提升。随着AlexNet的成功，又有很多新的神经网 络被提出来以提升它的性能。
ZFNet(2014) VGGNet(2015) GoogleNet(2014)
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
0
0
1
0
-1
和传统的前馈神经网络类似，整个网络的模型有几种因素决定。我们传统的前馈神经网络 隐藏层一般是全连接的，而CNN的隐藏层又分为convolutional layer，pooling layer和最后的 fully-connected layer，这些隐藏层的区别是CNN之所以为CNN的重要原因，而另外各个神经 元激活函数的选择以及整个网络损失函数的选择都与FNN类似。下面我们主要讲解LeNet-5。
右图就是一个2维卷积的示意图，这里因为是 离散的卷积，所以可以直接把卷积理解为矩阵 相乘，即两个矩阵相乘，一个是输入矩阵，一 个是卷积核矩阵。输入矩阵一般都表示二维的 输入图像，而卷积核其实可以理解为图像处理 里面的算子，比如这些算子可以实现一些边缘 检测或者高斯模糊的效果，那么其实卷积操作 可以理解为对图像进行一些特征处理。
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
00Leabharlann 10-11
0
7
Convolution
右图的卷积核大小是2乘以2的，这可以看成是 一个Roberts边缘检测算子，和左面的Input中的 2*2矩阵做卷积运算相当于对点e的边缘检测。
Roberts算子是一种最简单的算子，它利用局部 差分算子来寻找边缘信息，它采用对角线方向 相邻两像素之差来近似梯度检测边缘。
Convolutional Neural Networks
江南江大南学大学-数-数媒媒学学院院-许-鹏许鹏
1
Outline
Overview
convolution
pooling
sparse connectivity parameter sharing equivariant representation
上述这些神经网络一个很重要的趋势就是deeper，其中ResNet的深度是AlexNet的20倍，是 VGGNet的8倍。随着深度的增加，网络能够更好的逼近非线性目标方程，并且能够学习到 更加有效的特征。当然这也增加了模型的复杂度，使得模型很难训练并且容易过拟合。所 以有很多方法被提出来用于解决CNNs的训练和过拟合问题。
1
0
8
Sparse Connectivity
CNN的应用也很广泛，其中包括图像分类，目标检测，目标识别，目标跟踪，文本检测和 识别以及位置估计等。
4
CNN-Overview
上面提到CNN和FNN很重要的差异就是隐藏层的差异，CNN有convolutional layer和pooling layer，然后和最后的fully-connected layer共同构成卷积神经网络。而中间的隐藏层的连接 方式又有三个重要的思想：
6
Convolution
右图的卷积核大小是2乘以2的，这可以看成是 一个Roberts边缘检测算子，和左面的Input中的 2*2矩阵做卷积运算相当于对点e的边缘检测。
卷积层--convolution 池化层--pooling 全连接层—fully connected
江南大学-数媒学院-许鹏
2
CNN-Overview
卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物 的视觉皮质细胞负责在感知域内探测光照，受其启发，1980年Kunihiko Fukushima提出了一种 新型认知机并被认为是CNN的先驱。
ResNet(2015)—champion of ILSVRC 2015
Yann LeCun: 纽约大学/Facebook
3
CNN-Overview
LeNet-5(1990)
AlexNet(2012)
ZFNet(2014) VGGNet(2015) GoogleNet(2014)
ResNet(2015)—champion of ILSVRC 2015
Roberts算子是一种最简单的算子，它利用局部 差分算子来寻找边缘信息，它采用对角线方向 相邻两像素之差来近似梯度检测边缘。
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
1990年，LeCun发表了一篇奠定现在CNN结构的重要文章，他们构建了一个叫做LeNet-5的多 层前馈神经网络，并将其用于手写体识别。就像其他前馈神经网络，它也可以使用反向传播 算法来训练。它之所以有效，是因为它能从原始图像学习到有效的特征，几乎不用对图像进 行预处理。然而由于当时训练数据量的缺乏以及计算能力的不足，LeNet-5无法在复杂问题上 表现的很好，比如大规模图像分类以及视频分类处理。
convolution operation and pooling operation sparse connectivity and parameter sharing and equivariant representation
5
Convolution
CNN的一个重要操作卷积是CNN的核心思想， 就是这个卷积有效的提取了图像特征用于后 面的图像识别。
自2006年以来，又有很多方法被提出来以克服在训练 deep CNNs时遇到的困难。其中很重要的一个是AlexNet 网络，它和LeNet-5很相似，但是在图像分类任务上有了 很大的提升。随着AlexNet的成功，又有很多新的神经网 络被提出来以提升它的性能。
ZFNet(2014) VGGNet(2015) GoogleNet(2014)
这里的Roberts算子只是一个一阶算子，提取的 边缘信息还很有限，还有其他的二阶算子，比
如拉普拉斯算子。而且这里Roberts算子只提取 了某个像素对角线的梯度，而没有提取垂直方
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
0
0
1
0
-1
和传统的前馈神经网络类似，整个网络的模型有几种因素决定。我们传统的前馈神经网络 隐藏层一般是全连接的，而CNN的隐藏层又分为convolutional layer，pooling layer和最后的 fully-connected layer，这些隐藏层的区别是CNN之所以为CNN的重要原因，而另外各个神经 元激活函数的选择以及整个网络损失函数的选择都与FNN类似。下面我们主要讲解LeNet-5。
右图就是一个2维卷积的示意图，这里因为是 离散的卷积，所以可以直接把卷积理解为矩阵 相乘，即两个矩阵相乘，一个是输入矩阵，一 个是卷积核矩阵。输入矩阵一般都表示二维的 输入图像，而卷积核其实可以理解为图像处理 里面的算子，比如这些算子可以实现一些边缘 检测或者高斯模糊的效果，那么其实卷积操作 可以理解为对图像进行一些特征处理。
向和水平方向的梯度，所以还有其他的算子用
于提取多个方向梯度，比如Sobel算子，Prewitt 算子等。
-1
00Leabharlann 10-11
0
7
Convolution
右图的卷积核大小是2乘以2的，这可以看成是 一个Roberts边缘检测算子，和左面的Input中的 2*2矩阵做卷积运算相当于对点e的边缘检测。
Roberts算子是一种最简单的算子，它利用局部 差分算子来寻找边缘信息，它采用对角线方向 相邻两像素之差来近似梯度检测边缘。
Convolutional Neural Networks
江南江大南学大学-数-数媒媒学学院院-许-鹏许鹏
1
Outline
Overview
convolution
pooling
sparse connectivity parameter sharing equivariant representation
上述这些神经网络一个很重要的趋势就是deeper，其中ResNet的深度是AlexNet的20倍，是 VGGNet的8倍。随着深度的增加，网络能够更好的逼近非线性目标方程，并且能够学习到 更加有效的特征。当然这也增加了模型的复杂度，使得模型很难训练并且容易过拟合。所 以有很多方法被提出来用于解决CNNs的训练和过拟合问题。
1
0
8
Sparse Connectivity
CNN的应用也很广泛，其中包括图像分类，目标检测，目标识别，目标跟踪，文本检测和 识别以及位置估计等。
4
CNN-Overview
上面提到CNN和FNN很重要的差异就是隐藏层的差异，CNN有convolutional layer和pooling layer，然后和最后的fully-connected layer共同构成卷积神经网络。而中间的隐藏层的连接 方式又有三个重要的思想：