深度学习入门必须理解这25个概念
深度学习入门2：自制框架
《深度学习入门2：自制框架》这本书是一本非常适合初学者入门的深度学 习书籍。它不仅介绍了深度学习的基础知识，还通过介绍现代深度学习框架的使 用方法和应用案例，让读者更好地了解深度学习的实际应用效果。通过“从零创 建”自制深度学习框架的过程，让读者更深入地了解深度学习框架的本质和实现 机制。这本书的目录结构合理，内容丰富，非常适合初学者入门深度学习。
“迁移学习是一种将预训练模型应用于新任务的方法。”
这句话介绍了迁移学习的基本思想。通过将预训练模型中的参数作为新任务 的起始点，可以加速新任务的训练速度并提高模型性能。这种方法在许多实际应 用中都取得了显著的成果。
“卷积神经网络是一种专门用于处理图像数据的神经网络结构。”
这句话指出了卷积神经网络在图像处理领域的优势。通过独特的网络结构， 卷积神经网络能够有效地提取图像中的局部特征并进行分类。在人脸识别、目标 检测等应用中表现优异。
在书中，作者不仅详细介绍了这些框架的基础知识和使用方法，还通过“从 零创建”的方式，剖析了深度学习框架的机制。这种“从零创建”的方式，让读 者能够在运行程序的过程中，深入了解深度学习框架中蕴藏的技术与机制。这种 体验方式，使得读者能够更好地理解深度学习框架的本质。
除了对框架的讲解，本书还强调了Python编程和软件开发的相关知识。这对 于想要深入了解深度学习的读者来说，无疑是一次全方位的学习机会。通过这本 书，读者不仅能够掌握深度学习的核心技术，还能够提升自己的编程和软件开发 能力。
“深度学习是一种通过模拟人脑神经网络进行数据处理和模式识别的机器学 习方法。”
这句话简洁明了地阐述了深度学习的核心思想，即通过模拟人脑神经网络来 实现机器自主学习和决策。这种模拟不仅体现在算法层面，还涉及硬件、软件以 及应用等多个层面。
深度学习概念
深度学习概念深度学习是一种基于人工神经网络的机器学习方法，它模仿人类大脑的结构和工作原理，通过多个神经网络层的组合和训练来实现对大规模数据的分析和处理。
深度学习以其出色的性能和广泛的应用领域而备受关注。
本文将从深度学习的定义、原理、应用以及存在的挑战等方面进行深入探讨。
一、深度学习的定义深度学习是机器学习领域中的一个重要分支，它通过构建和训练多层神经网络来提取和学习数据的特征。
与传统的机器学习算法相比，深度学习通过增加网络的深度，能够更好地处理具有复杂结构和高维度的数据。
深度学习的核心思想是模拟人脑中神经元之间相互连接的复杂关系，从而实现对数据的有效表示和分析。
二、深度学习的原理深度学习的实现依赖于人工神经网络，尤其是深度神经网络。
深度神经网络由多个神经网络层组成，每一层都包含多个神经元。
网络的输入层接收原始数据，随着数据通过每一层的传递，神经元将对数据的特征进行抽象和提取。
最后，网络的输出层将产生对数据进行分类、识别或预测的结果。
深度学习通过反向传播算法来训练神经网络，即通过不断调整网络参数来最小化预测结果与实际结果之间的误差。
这一过程需要大量的标记数据和计算资源，但可以通过GPU加速来提高训练效率。
同时，深度学习还可以利用无监督学习的方法来进行特征学习，从而减少对大量标记数据的依赖。
三、深度学习的应用深度学习在各个领域都有广泛的应用，包括计算机视觉、自然语言处理、语音识别、推荐系统等。
在计算机视觉领域，深度学习能够对图像进行分类、目标检测和图像生成等任务。
在自然语言处理领域，深度学习可以实现文本分类、机器翻译和情感分析等任务。
在语音识别领域，深度学习可以提高语音识别的准确度和稳定性。
在推荐系统领域，深度学习能够通过分析用户兴趣和行为来实现个性化推荐。
四、深度学习的挑战虽然深度学习在许多领域取得了重大突破，但仍然存在一些挑战。
首先，深度学习需要大量的标记数据来进行训练，这对于一些领域来说可能存在数据获取的难题。
深度学习基础总结（附完整思维导图）
深度学习基础总结（附完整思维导图）来源：Python与算法社区本文为读者详细总结了深度学习的基础知识。
1 线型回归预测气温、预测销售额、预测商品价格等模型：权重，偏差模型训练：feed 数据学习模型参数值，使得误差尽可能小训练集、测试集、验证集、样本、标签、特征损失函数：回归常用平方误差函数；优化算法：小批量随机梯度下降（每次选一小批样本训练参数），每批样本大小叫做 batch size学习率：正数超参数：不是通过训练学出的，如学习率，批量大小网络输出层只有一个神经元节点全连接层：输出层中的神经元和输入层中各个输入完全连接基本要素：模型、训练数据、损失函数和优化算法2 softmax 回归图像分类、垃圾邮件识别、交易诈骗识别、恶意软件识别等softmax运算符将输出值变换成值为正，且和为1的概率分布交叉熵损失函数：更适合衡量两个概率分布差异softmax 回归是一个单层神经网络，输出个数等于类别个数3 多层神经网络激活函数：一种非线性函数ReLU函数：只保留正数元素，负数元素清零sigmoid函数：将元素值变换到0到1tanh(双曲正切)：元素值变换到-1到14 模型选择模型在训练集上更准确时，不代表在测试集上就一定准确训练误差：训练数据集上表现出的误差；泛化误差：模型在测试集上表现的误差期望机器学习需要关注降低泛化误差模型选择：评估若干候选模型的表现并从中选择模型候选模型可以是有着不同超参数的同类模型验证集：预留训练和测试集之外的数据；折交叉验证：训练集分成份，共次轮询训练集欠拟合：模型无法得到较低的训练误差过拟合：模型的训练误差远小于测试集上的误差模型复杂度：低，容易欠拟合；高，容易过拟合数据集大小：训练样本少，尤其少于学习参数数时，容易过拟合；层数多时尽量数据大些5 必知技巧过拟合解决措施之一：权重衰减，常用L2正则L2惩罚系数越大，惩罚项在损失函数中比重就越大丢弃法(dropout)：一定概率丢弃神经元正向传播：沿着输入层到输出层的顺序，依次计算并存储模型的中间变量反向传播：从输出层到输入层参数调整过程训练深度学习模型时，正向传播和反向传播间相互依赖数值稳定性的问题：衰减和爆炸层数较多时容易暴露，如每层都是一个神经元的30层网络，如果权重参数为0.2，会出现衰减；如果权重参数为2，会出现爆炸权重参数初始化方法：正态分布的随机初始化；Xavier 随机初始化。
深度学习介绍 ppt课件
2016年10月，NVIDIA 发布了新版本的通用并行计算架构库：统一计算设备架构（Compute Unified Device Architecture，CUDA）8.0，以及深度学习专用GPU 加速库：cuDNN 5.0；
2016年11月，在2016全球超级计算机大会（SC16）上，AMD 宣布推出新版Radeon开放计算平台
求误差梯度
求期望和实际 的偏差E
计算隐含层 单元误差
E满足要求？
Y
N
达到最大训练次数？
N Y
结束
BP算法流程
13
主要问题
主要问题
训练过程易陷入局部极小值，从而得不到全局最优解； 计算量大，训练次数多，使得学习效率低，收敛速度慢； 对于隐含层个数和隐含层神经元节点的个数选择，至今还没有一个具体的定论，缺乏理论指导； 训练时，学习新样本有遗忘旧样本的趋势
常用改进方法
添加动量项，Dropout等规则化算法等； 采用改进的梯度下降法，使用硬件辅助计算； RNN，LSTM等改进模型和神经元。
2020/12/27
14
主要内容
现状
神经网络
深度学习
介绍 常见模型
• Stacked Auto-Encoder • Convolutional Neural Network • Deep Belief Network
什么是深度学习
什么是深度学习深度学习，又称深层网络，是基于现代计算机技术的一种新型的神经网络学习技术，它可以从数据中挖掘出规律，从而帮助人们解决机器学习任务。
日趋普及的深度学习，不仅可以让人类做更多的预测，也可以使得AI技术更轻松地实现学习机器任务，为我们带来想不到的智能应用。
深度学习的科普文章主要有以下几点：1、深度学习的基本原理深度学习是基于多层的人工神经网络的一种机器学习技术，它可以从复杂的数据中挖掘出深层的规律，从而有效的解决机器学习任务。
深度学习的核心原理是仿照人类神经网络的构造，通过大量的数据训练，不断学习和优化网络参数，从而实现机器学习的目的。
2、深度学习的特点深度学习能够提取出更丰富的特征，更准确和高效地解决复杂机器学习问题，例如视觉任务、自然语言处理任务等。
此外，深度学习还具有良好的自动特征工程能力，可以自动学习有效的特征，在此基础上构建出高效的预测模型。
3、深度学习的应用深度学习在机器学习领域应用越来越广泛，如在机器视觉领域的图像分类，弥补了传统的机器学习方法的不足；在自然语言处理领域，深度学习模型可以更好的理解和解释自然语言文本；一些复杂的推荐系统问题也可以通过深度学习解决。
总而言之，深度学习已经发展为机器学习领域不可或缺的一环，可以用于解决诸多复杂的机器学习问题。
4、深度学习的未来发展深度学习的未来潜力巨大，例如神经网络的深度增加可以让算法更有效地挖掘出数据中的特征；敐细化处理器技术可以加快训练模型的速度，更快提取有效特征；更高层次的技术，如正则化技术、强化学习等，也可以有效帮助提高深度学习模型的准确度和效率。
此外，深度学习在未来可能会发展到更宽泛的领域，如生物医学等。
分析上述内容可以得出，深度学习是一种新型的神经网络学习技术，可以有效的解决机器学习任务，并得到越来越广泛的应用。
它能提取更丰富的特征，良好的自动特征工程能力，而且未来的技术进步也可以提高深度学习模型的准确度和效率，甚至有可能发展到更宽泛的领域，这样，深度学习就会为我们带来更多惊喜。
人工智能的核心知识点
人工智能的核心知识点人工智能（Artificial Intelligence，简称AI）是计算机科学的一个重要分支，旨在开发能够模拟人类智能行为的计算机系统。
随着科技的不断进步，人工智能在各个领域都取得了重大突破和应用。
本文将介绍人工智能的核心知识点，包括机器学习、深度学习、自然语言处理和计算机视觉等。
一、机器学习（Machine Learning）机器学习是人工智能的基础，它通过让计算机从大量数据中学习并自主进行决策与预测。
机器学习的核心概念包括监督学习、无监督学习和强化学习。
监督学习通过给定输入和输出的训练数据，让计算机学习并预测未知数据的输出结果；无监督学习则是从无标签的数据中发现模式和关系；强化学习则是通过试错和奖惩机制来训练智能体做出正确的决策。
二、深度学习（Deep Learning）深度学习是机器学习中的一个重要分支，它以人工神经网络为基础，模拟人脑的神经元结构和信号传递。
深度学习通过多层次的神经网络结构，实现了对复杂数据的高级特征提取和模式识别。
著名的深度学习架构包括卷积神经网络（Convolutional Neural Network，简称CNN）和循环神经网络（Recurrent Neural Network，简称RNN）。
三、自然语言处理（Natural Language Processing，简称NLP）自然语言处理是指让计算机理解、处理和生成人类自然语言的技术。
NLP的关键任务包括语言识别、语义分析和机器翻译等。
语言识别通过识别和转录语音为文本；语义分析则是通过分析文本的结构和语义，理解其含义和情感；机器翻译则是将一种语言的文本自动翻译成另一种语言。
四、计算机视觉（Computer Vision）计算机视觉是指让计算机能够理解和解释图像和视频的技术。
计算机视觉的应用非常广泛，包括图像分类、目标检测和人脸识别等。
图像分类是将图像自动分类到不同的类别；目标检测则是在图像中定位并识别特定对象；人脸识别则是通过对人脸图像进行特征提取和匹配，实现人的身份认证等功能。
什么是人工智能、机器学习和深度学习（概念入门）
什么是⼈⼯智能、机器学习和深度学习（概念⼊门）⼀、概念整体介绍⼈⼯智能（Artificial Intelligence）机器学习（Machine Learning）：⼀种实现⼈⼯智能的⽅法深度学习（Deep Learning）：⼀种实现机器学习的技术 三者的关系图⼈⼯智能分类： 强⼈⼯智能：强⼈⼯智能观点认为有可能制造出真正能推理（Reasoning）和解决问题（Problem_solving）的智能机器，并且这样的机器将被认为是有知觉的，有⾃我意识的。
可以独⽴思考问题并制定解决问题的最优⽅案，有⾃⼰的价值观和世界观体系。
有和⽣物⼀样的各种本能，⽐如⽣存和安全需求。
弱⼈⼯智能：弱⼈⼯智能是指不能制造出真正地推理（Reasoning）和解决问题（Problem_solving）的智能机器，这些机器只不过看起来像是智能的，但是并不真正拥有智能，也不会有⾃主意识。
⼈⼯智能是计算机学科的⼀个分⽀，⼆⼗世纪七⼗年代以来被称为世界三⼤尖端技术之⼀（空间技术、能源技术、⼈⼯智能）。
也被认为是⼆⼗⼀世纪三⼤尖端技术（基因⼯程、纳⽶科学、⼈⼯智能）之⼀。
这是因为近三⼗年来它获得了迅速的发展，在很多学科领域都获得了⼴泛应⽤，并取得了丰硕的成果，⼈⼯智能已逐步成为⼀个独⽴的分⽀，⽆论在理论和实践上都已⾃成⼀个系统。
⼈⼯智能的研究分⽀ ⼈⼯智能的发展历程 各种概念关系相关链接：⼀张图解释⼈⼯智能、机器学习、深度学习三者关系：⼀篇⽂章讲清楚⼈⼯智能、机器学习和深度学习的区别和联系：科普⼀下：机器学习和深度学习的区别和关系：⼈⼯智能的三个分⽀：认知、机器学习、深度学习：还纠结选机器学习还是深度学习？看完你就有数了：=====================================================⼆、⼈⼯智能应⽤领域关键词：⾃然语⾔⽣成、语⾳识别、虚拟助理、机器学习平台、⼈⼯智能硬件优化、决策管理、深度学习平台、⽣物信息、图像识别、情绪识别、P2P⽹络、内容创作、⽹络防御、AI建模/数字孪⽣、机器处理⾃动化、⽂本分析和⾃然语⾔处理游戏：⼈⼯智能在国际象棋，扑克，围棋等游戏中起着⾄关重要的作⽤，机器可以根据启发式知识来思考⼤量可能的位置并计算出最优的下棋落⼦。
陶行知教育思想下深度学习的构建
陶行知教育思想下深度学习的构建精美∙:我国著名教育家陶行知先生说：“活的人才故育不是港饰知识，而是将开发文化宝库的胡地，尽我们知道地交给学生」“深度学习”建基于我国“立德树人”教为任务景下提出的一钟新型教学理念,其中的“深”是指教师教学行为和学生学习方式的深层变革。
小学致学深度学习是指，学生在教师的引领下.围绕具有挑战性的学习主飕，让学生通过全身心参与、体验成功，获得教学核心知识，把握教学的本质与思想方法，促进学生教学核心素养的形成。
关健词：陶行知找育：核心索养：深度学习；探究欲望“深度学习”是一种基于理解的学习，旨在让学习“其正发生”，让学生在积极主动、批判性学习新知和思想的过程中，促进深度理解和实践创新，深度学习是发展学生核心素养的有效途径，有助于学生高阶思维和迁移能力的培养。
在课堂教学中，教师应通过创设情境，激发学生深度探究欲望；利用动手实践，引领学生深度学习与理解：利用学生典型错误，设计渐进习题，促进学生个性化的深度学习，实现对学生深度学习能力的培养。
一、情境创设，触发深度学习欲望美国的纽维尔认为：”问题是这样一种情境，个体想做某件事，但不能马上知道对这件事所需采取的一系列行动，就构成问题。
”问题是数学教学活动开展的核心，也是激发学生学习的原动力。
只有让学生经历了从提出问题、分析问题、解决问题的完整过程，才能真正促进学生的深度学习.问翘的引发，有利于•明确深度学习的目标和学生的思维方向。
案例《分段计费》师：今天老师是乘坐出租车来学校的，出租车收费标准为3千米内7元，超过3千米，每千米I.5元（不足1千米按照1千米），假设从我家里到学校的路程为4千米，要付多少元？生1：需要付8.5元，因为前面3千米付7元，后面1千米需要付1.5元，所以•共是8.5元。
Mi：为什么不是1.5χ4=6（元）呢？生1：因为4千米超过了3千米，就需要分成两个部分进行计兑，前面是3千米以内7元，后面是1.5元，所以一共是8.5元。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
深度学习入门必须理解这25个概念1、神经元（Neuron）——就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。
想象一下，当我们得到新信息时我们该怎么做。
当我们获取信息时，我们一般会处理它，然后生成一个输出。
类似地，在神经网络的情况下，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。
2、权重（Weights）——当输入进入神经元时，它会乘以一个权重。
例如，如果一个神经元有两个输入，则每个输入将具有分配给它的一个关联权重。
我们随机初始化权重，并在模型训练过程中更新这些权重。
训练后的神经网络对其输入赋予较高的权重，这是它认为与不那么重要的输入相比更为重要的输入。
为零的权重则表示特定的特征是微不足道的。
让我们假设输入为a，并且与其相关联的权重为W1，那么在通过节点之后，输入变为a *W1。
3、偏差（Bias）——除了权重之外，另一个被应用于输入的线性分量被称为偏差。
它被加到权重与输入相乘的结果中。
基本上添加偏差的目的是来改变权重与输入相乘所得结果的范围的。
添加偏差后，结果将看起来像a* W1 偏差。
这是输入变换的最终线性分量。
4、激活函数（Activation Function）——一旦将线性分量应用于输入，将会需要应用一个非线性函数。
这通过将激活函数应用于线性组合来完成。
激活函数将输入信号转换为输出信号。
应用激活函数后的输出看起来像f（a*W1+ b），其中f就是激活函数。
在下图中，我们将'n'个输入给定为X1 到Xn 而与其相应的权重为Wk1 到Wkn。
我们有一个给定值为bk 的偏差。
权重首先乘以与其对应的输入，然后与偏差加在一起。
而这个值叫做u。
U =ΣW*X +b 激活函数被应用于u，即f(u)，并且我们会从神经元接收最终输出，如yk = f（u）。
常用的激活函数最常用的激活函数就是Sigmoid，ReLU 和softmax（a）Sigmoid——最常用的激活函数之一是Sigmoid，它被定义为：sigmoid(x)=1/(1+e -x )Sigmoid 变换产生一个值为0 到1 之间更平滑的范围。
我们可能需要观察在输入值略有变化时输出值中发生的变化。
光滑的曲线使我们能够做到这一点，因此优于阶跃函数。
（b）ReLU（整流线性单位）——与Sigmoid 函数不同的是，最近的网络更喜欢使用ReLu 激活函数来处理隐藏层。
该函数定义为：f(x)=max(x,0)当X>0 时，函数的输出值为X；当X使用ReLU 函数的最主要的好处是对于大于0 的所有输入来说，它都有一个不变的导数值。
常数导数值有助于网络训练进行得更快。
（c）Softmax——Softmax 激活函数通常用于输出层，用于分类问题。
它与sigmoid 函数是很类似的，唯一的区别就是输出被归一化为总和为1。
Sigmoid 函数将发挥作用以防我们有一个二进制输出，但是如果我们有一个多类分类问题，softmax 函数使为每个类分配值这种操作变得相当简单，而这可以将其解释为概率。
以这种方式来操作的话，我们很容易看到——假设你正在尝试识别一个可能看起来像8 的6。
该函数将为每个数字分配值如下。
我们可以很容易地看出，最高概率被分配给6，而下一个最高概率分配给8，依此类推……5、神经网络（Neural Network）——神经网络构成了深度学习的支柱。
神经网络的目标是找到一个未知函数的近似值。
它由相互联系的神经元形成。
这些神经元具有权重和在网络训练期间根据错误来进行更新的偏差。
激活函数将非线性变换置于线性组合，而这个线性组合稍后会生成输出。
激活的神经元的组合会给出输出值。
一个很好的神经网络定义：'神经网络由许多相互关联的概念化的人造神经元组成，它们之间传递相互数据，并且具有根据网络'经验'调整的相关权重。
神经元具有激活阈值，如果通过其相关权重的组合和传递给他们的数据满足这个阈值的话，其将被解雇;发射神经元的组合导致'学习'。
6、输入/输出/隐藏层（Input / Output / Hidden Layer）——正如它们名字所代表的那样，输入层是接收输入那一层，本质上是网络的第一层。
而输出层是生成输出的那一层，也可以说是网络的最终层。
处理层是网络中的隐藏层。
这些隐藏层是对传入数据执行特定任务并将其生成的输出传递到下一层的那些层。
输入和输出层是我们可见的，而中间层则是隐藏的。
7、MLP（多层感知器）——单个神经元将无法执行高度复杂的任务。
因此，我们使用堆栈的神经元来生成我们所需要的输出。
在最简单的网络中，我们将有一个输入层、一个隐藏层和一个输出层。
每个层都有多个神经元，并且每个层中的所有神经元都连接到下一层的所有神经元。
这些网络也可以被称为完全连接的网络。
8、正向传播（Forward Propagation）——正向传播是指输入通过隐藏层到输出层的运动。
在正向传播中，信息沿着一个单一方向前进。
输入层将输入提供给隐藏层，然后生成输出。
这过程中是没有反向运动的。
9、成本函数（Cost Function）——当我们建立一个网络时，网络试图将输出预测得尽可能靠近实际值。
我们使用成本/损失函数来衡量网络的准确性。
而成本或损失函数会在发生错误时尝试惩罚网络。
我们在运行网络时的目标是提高我们的预测精度并减少误差，从而最大限度地降低成本。
最优化的输出是那些成本或损失函数值最小的输出。
如果我将成本函数定义为均方误差，则可以写为：C= 1/m ∑(y–a)^2，其中m 是训练输入的数量，a 是预测值，y 是该特定示例的实际值。
学习过程围绕最小化成本来进行。
10、梯度下降（Gradient Descent）——梯度下降是一种最小化成本的优化算法。
要直观地想一想，在爬山的时候，你应该会采取小步骤，一步一步走下来，而不是一下子跳下来。
因此，我们所做的就是，如果我们从一个点x 开始，我们向下移动一点，即Δh，并将我们的位置更新为x-Δh，并且我们继续保持一致，直到达到底部。
考虑最低成本点。
在数学上，为了找到函数的局部最小值，我们通常采取与函数梯度的负数成比例的步长。
11、学习率（Learning Rate）——学习率被定义为每次迭代中成本函数中最小化的量。
简单来说，我们下降到成本函数的最小值的速率是学习率。
我们应该非常仔细地选择学习率，因为它不应该是非常大的，以至于最佳解决方案被错过，也不应该非常低，以至于网络需要融合。
12、反向传播（Backpropagation）——当我们定义神经网络时，我们为我们的节点分配随机权重和偏差值。
一旦我们收到单次迭代的输出，我们就可以计算出网络的错误。
然后将该错误与成本函数的梯度一起反馈给网络以更新网络的权重。
最后更新这些权重，以便减少后续迭代中的错误。
使用成本函数的梯度的权重的更新被称为反向传播。
在反向传播中，网络的运动是向后的，错误随着梯度从外层通过隐藏层流回，权重被更新。
13、批次（Batches）——在训练神经网络的同时，不用一次发送整个输入，我们将输入分成几个随机大小相等的块。
与整个数据集一次性馈送到网络时建立的模型相比，批量训练数据使得模型更加广义化。
14、周期（Epochs）——周期被定义为向前和向后传播中所有批次的单次训练迭代。
这意味着1 个周期是整个输入数据的单次向前和向后传递。
你可以选择你用来训练网络的周期数量，更多的周期将显示出更高的网络准确性，然而，网络融合也需要更长的时间。
另外，你必须注意，如果周期数太高，网络可能会过度拟合。
15、丢弃（Dropout）——Dropout 是一种正则化技术，可防止网络过度拟合套。
顾名思义，在训练期间，隐藏层中的一定数量的神经元被随机地丢弃。
这意味着训练发生在神经网络的不同组合的神经网络的几个架构上。
你可以将Dropout 视为一种综合技术，然后将多个网络的输出用于产生最终输出。
16、批量归一化（Batch Normalization）——作为一个概念，批量归一化可以被认为是我们在河流中设定为特定检查点的水坝。
这样做是为了确保数据的分发与希望获得的下一层相同。
当我们训练神经网络时，权重在梯度下降的每个步骤之后都会改变，这会改变数据的形状如何发送到下一层。
但是下一层预期分布类似于之前所看到的分布。
所以我们在将数据发送到下一层之前明确规范化数据。
卷积神经网络17、滤波器（Filters）——CNN 中的滤波器与加权矩阵一样，它与输入图像的一部分相乘以产生一个回旋输出。
我们假设有一个大小为28 28 的图像，我们随机分配一个大小为3 3 的滤波器，然后与图像不同的3 * 3 部分相乘，形成所谓的卷积输出。
滤波器尺寸通常小于原始图像尺寸。
在成本最小化的反向传播期间，滤波器值被更新为重量值。
参考一下下图，这里filter 是一个3 * 3 矩阵：与图像的每个3 * 3 部分相乘以形成卷积特征。
18、卷积神经网络（CNN）——卷积神经网络基本上应用于图像数据。
假设我们有一个输入的大小（2828 3），如果我们使用正常的神经网络，将有2352（28 28 3）参数。
并且随着图像的大小增加参数的数量变得非常大。
我们'卷积'图像以减少参数数量（如上面滤波器定义所示）。
当我们将滤波器滑动到输入体积的宽度和高度时，将产生一个二维激活图，给出该滤波器在每个位置的输出。
我们将沿深度尺寸堆叠这些激活图，并产生输出量。
你可以看到下面的图，以获得更清晰的印象。
19、池化（Pooling）——通常在卷积层之间定期引入池层。
这基本上是为了减少一些参数，并防止过度拟合。
最常见的池化类型是使用MAX 操作的滤波器尺寸（2,2）的池层。
它会做的是，它将占用原始图像的每个4 * 4 矩阵的最大值。
你还可以使用其他操作（如平均池）进行池化，但是最大池数量在实践中表现更好。
20、填充（Padding）——填充是指在图像之间添加额外的零层，以使输出图像的大小与输入相同。
这被称为相同的填充。
在应用滤波器之后，在相同填充的情况下，卷积层具有等于实际图像的大小。
有效填充是指将图像保持为具有实际或'有效'的图像的所有像素。
在这种情况下，在应用滤波器之后，输出的长度和宽度的大小在每个卷积层处不断减小。
21、数据增强（Data Augmentation）——数据增强是指从给定数据导出的新数据的添加，这可能被证明对预测有益。
例如，如果你使光线变亮，可能更容易在较暗的图像中看到猫，或者例如，数字识别中的9 可能会稍微倾斜或旋转。
在这种情况下，旋转将解决问题并提高我们的模型的准确性。
通过旋转或增亮，我们正在提高数据的质量。
这被称为数据增强。