深度神经网络全面概述
深度学习概述
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
目录1简介2基础概念▪深度▪解决问题3核心思想4例题5转折点6成功应用1简介深度学习的概念源于人工神经网络的研究。
含多隐层的多层感知器就是一种深度学习结构。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
[2]深度学习的概念由Hinton等人于2006年提出。
基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
[2]2基础概念深度：从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算深度学习的值(计算的结果被应用到这个节点的孩子节点的值)。
考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。
输入节点没有孩子，输出节点没有父亲。
这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。
传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。
SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。
神经网络基本知识
神经网络基本知识一、内容简述神经网络是机器学习的一个重要分支，是一种模拟生物神经网络结构和功能的计算模型。
它以其强大的学习能力和自适应能力广泛应用于多个领域，如图像识别、语音识别、自然语言处理等。
《神经网络基本知识》这篇文章将带领读者了解神经网络的基本概念、原理和应用。
1. 神经网络概述神经网络是一种模拟生物神经系统结构和功能的计算模型。
它由大量神经元相互连接构成，通过学习和调整神经元之间的连接权重来进行数据处理和模式识别。
神经网络的概念自上世纪五十年代提出以来，经历了漫长的发展历程，逐渐从简单的线性模型演变为复杂的多层非线性结构。
神经网络在人工智能领域发挥着核心作用，广泛应用于计算机视觉、语音识别、自然语言处理等领域。
神经网络的基本构成单元是神经元，每个神经元接收来自其他神经元的输入信号，通过特定的计算方式产生输出信号，并传递给其他神经元。
不同神经元之间的连接强度称为权重，通过训练过程不断调整和优化。
神经网络的训练过程主要是通过反向传播算法来实现的，通过计算输出层误差并反向传播到输入层，不断调整权重以减小误差。
神经网络具有强大的自适应能力和学习能力，能够处理复杂的模式识别和预测任务。
与传统的计算机程序相比，神经网络通过学习大量数据中的规律和特征，自动提取高级特征表示，避免了手动设计和选择特征的繁琐过程。
随着深度学习和大数据技术的不断发展，神经网络的应用前景将更加广阔。
神经网络是一种模拟生物神经系统功能的计算模型，通过学习和调整神经元之间的连接权重来进行数据处理和模式识别。
它在人工智能领域的应用已经取得了巨大的成功，并将在未来继续发挥重要作用。
2. 神经网络的历史背景与发展神经网络的历史可以追溯到上个世纪。
最初的神经网络概念起源于仿生学，模拟生物神经网络的结构和功能。
早期的神经网络研究主要集中在模式识别和机器学习的应用上。
随着计算机科学的快速发展，神经网络逐渐成为一个独立的研究领域。
在20世纪80年代和90年代，随着反向传播算法和卷积神经网络的提出，神经网络的性能得到了显著提升。
神经网络与深度学习知识点整理
神经网络与深度学习知识点整理●神经网络基础●MP神经元模型●可以完成任何数学和逻辑函数的计算●没有找到训练方法，必须提前设计出神经网络的参数以实现特定的功能●Hebb规则●两个神经元同时处于激发状态时，神经元之间的连接强度将得到加强●Hebb学习规则是一种无监督学习方法，算法根据神经元连接的激活水平改变权值，因此又称为相关学习或并联学习。
●●感知机模型●有监督的学习规则●神经元期望输出与实际输出的误差e作为学习信号，调整网络权值●●LMS学习规则是在激活函数为f(x)=x下的感知器学习规则●由于激活函数f的作用，感知器实际是一种二分类器●感知器调整权值步骤●单层感知器不能解决异或问题●BP网络●特点：●同层神经网络无连接●不允许跨层连接●无反馈连接●BP学习算法由正向传播和反向传播组成●BP网络的激活函数必须处处可导——BP权值的调整采用 Gradient Descent 公式ΔW=－η（偏E/偏w），这个公式要求网络期望输出和单次训练差值（误差E)求导。
所以要求输出值处处可导。
s函数正好满足处处可导。
●运算实例（ppt）●Delta( δ )学习规则●误差纠正式学习——神经元的有监督δ学习规则，用于解决输入输出已知情况下神经元权值学习问题●δ学习规则又称误差修正规则，根据E/w负梯度方向调整神经元间的连接权值，能够使误差函数E达到最小值。
●δ学习规则通过输出与期望值的平方误差最小化，实现权值调整●●1●自动微分●BP神经网络原理：看书●超参数的确定，并没有理论方法指导，根据经验来选择●BP算法已提出，已可实现多隐含层的神经网络，但实际只使用单隐层节点的浅层模型●计算能力的限制●梯度弥散问题●自编码器●●自编码器（Auto-Encoder）作为一种无监督学习方法网络●将输入“编码”为一个中间代码●然后从中间表示“译码”出输入●通过重构误差和误差反传算法训练网络参数●编码器不关心输出（只复现输入），只关心中间层的编码————ℎ=σ(WX+b)●编码ℎ已经承载原始数据信息，但以一种不同的形式表达！●1●正则编码器——损失函数中加入正则项，常用的正则化有L1正则和L2正则●稀疏自编码器——在能量函数中增加对隐含神经元激活的稀疏性约束，以使大部分隐含神经元处于非激活状态●去噪自编码器——训练数据加入噪声，自动编码器学习去除噪声获得无噪声污染的输入，迫使编码器学习输入信号更加鲁棒的表达●堆叠自编码器●自编码器训练结束后，输出层即可去掉，网络关心的是x到ℎ的变换●将ℎ作为原始信息，训练新的自编码器，得到新的特征表达．●逐层贪婪预训练●1●深度神经网络初始化●●卷积神经网络●全连接不适合图像任务●参数数量太多●没有利用像素之间的位置信息●全连接很难传递超过三层●卷积神经网络是一种前馈神经网络，其输出神经元可以响应部分区域内的输入信息，适宜处理图像类信息●1●1●Zero Padding：在原始图像周围补0数量●卷积尺寸缩小，边缘像素点在卷积中被计算的次数少，边缘信息容易丢失●●卷积神经网络架构发展●1●深度发展●LeNet●具备卷积、激活、池化和全连接等基本组件●但GPU未出现，CPU的性能又极其低下●LetNet只使用在手写识别等简单场景，未得到重视●LeNet主要有2个卷积层（5*5）、2个下抽样层（池化层）、3个全连接层●通过sigmoid激活●全连接层输出：共有10个节点分别代表数字0到9，采用径向基函数作为分类器●AlexNet●第一次采用了ReLU，dropout，GPU加速等技巧●AlexNet网络共有：卷积层 5个(1111,55,3*3)，池化层 3个，全连接层3个●首次采用了双GPU并行计算加速模式●第一卷积模块：96通道的特征图被分配到2个GPU中，每个GPU上48个特征图；2组48通道的特征图分别在对应的GPU中进行ReLU激活●第一层全连接：同时采用了概率为0.5的Dropout策略●VGG●通过反复堆叠3x3卷积和2x2的池化，得到了最大19层的深度●卷积-ReLU-池化的基本结构●串联多个小卷积，相当于一个大卷积的思想●使用两个串联的3x3卷积，达到5x5的效果，但参数量却只有之前的18/25●串联多个小卷积，增加ReLU非线性激活使用概率，从而增加模型的非线性特征●VGG16网络包含了13个卷积层，5个池化层和3个全连接层。
深度神经网络的应用及分类
深度神经网络的应用及分类深度神经网络（Deep Neural Network，DNN）是一种模仿人脑神经网络结构和工作原理的人工神经网络，具有多层非线性数据转换、特征提取和决策的能力。
由于其强大的表达能力和高效的训练方法，深度神经网络在计算机视觉、自然语言处理、语音识别、推荐系统等领域取得了巨大的成功。
本文将介绍深度神经网络的应用和分类，并着重讨论其在计算机视觉和自然语言处理中的具体应用。
深度神经网络的应用可以分为以下几个方面：1. 计算机视觉：深度神经网络在计算机视觉领域有广泛的应用，包括图像分类、目标检测、图像分割、人脸识别等。
其中，图像分类是最早也是最成功的深度学习任务之一，通过训练深度神经网络可以实现对图像进行分类，例如将图像分为“猫”、“狗”、“汽车”等。
目标检测则是在图像中找出目标物体的位置和类别，常用的算法有R-CNN、Faster R-CNN、YOLO等。
图像分割目标是将图像中的每个像素分别标注为目标物体的一部分，常用的算法有U-Net、FCN等。
人脸识别则是通过深度神经网络对人脸进行特征提取和匹配，实现人脸的识别和验证。
2. 自然语言处理：深度神经网络在自然语言处理领域也有广泛的应用，包括文本分类、命名实体识别、情感分析、机器翻译等。
在文本分类任务中，深度神经网络可以将文本分为不同的类别，例如将一篇新闻文章分类为“体育”、“娱乐”等。
命名实体识别是将文本中的特定实体（如人名、地名、组织机构等）识别出来，常用的算法有BiLSTM-CRF等。
情感分析则是分析文本的情感倾向，例如判断一句话是积极的还是消极的。
机器翻译是将一种语言的文本转换为另一种语言的文本，常用的算法有Seq2Seq等。
3. 推荐系统：推荐系统是根据用户的历史行为和兴趣，为其推荐感兴趣的物品或信息，深度神经网络在推荐系统中有重要的应用。
通过训练深度神经网络，可以将用户的行为数据（如点击、购买、收藏等）作为输入，预测用户对未来物品的评分或兴趣程度，从而实现个性化的推荐。
深度神经网络在化学中的应用研究
深度神经网络在化学中的应用研究秦琦枫;曾斌;刘思莹【摘要】深度神经网络在机器视觉、语音识别以及自然语言处理等领域取得了令人瞩目的成果,在改善相关问题处理结果的同时大幅提升了解决效率,是当下人工智能快速发展的基石.在化学中引入神经网络的解决方案,能够有效的提升化学信息处理的智能化水平.国内外研究学者已经将神经网络应用在一些化学问题的处理中,如:化合物结构与性质的定量关系研究、有机反应产物预测、化合物属性预测等.本文着重介绍了现有深度神经网络模型的基本框架,概述相关研究的进展,并针对深度神经网络在化学中的应用进行展望.【期刊名称】《江西化工》【年(卷),期】2018(000)003【总页数】5页(P1-5)【关键词】深度神经网络;定量关系;化合物属性【作者】秦琦枫;曾斌;刘思莹【作者单位】东华理工大学,江西南昌330013;东华理工大学,江西南昌330013;东华理工大学,江西南昌330013【正文语种】中文1 引言深度神经网络(Deep Neural Network，DNN)又称为深度学习(Deep Learning)，是机器学习算法中一个非常重要的分支[1]。
在闻名一时的AlphaGo中，深度神经网络是其核心算法。
AlpahGo是谷歌开发的下围棋程序，击败了多个顶级围棋选手。
围棋是世界上最复杂的棋类游戏之一，在一块19×19的棋板上有将近10170个位置可以走。
相比于围棋的复杂度，化学显得简单很多，有研究估计Lipinski虚拟化学空间大约仅有1060种化合物。
机器学习算法目前已经广泛应用于计算化学的多个领域，如：计算机辅助药物发现[2]、材料属性预测等。
但是，深度神经网络与这些传统的机器学习方法有着显著的不同之处，DNN(Deep Neural Network)通常能够获得更好的表现，但是对数据量大小依赖严重。
深度学习已经在化学中的部分领域取得可喜的成绩，如2012年的Merck举办的活性预测比赛中，深度神经网络大幅(约15%)超过了Merck公司内部的基线模型，一举夺冠。
深度学习概述
深度学习概述神经⽹络定义⽬前，关于神经⽹络的定义尚不统⼀，按美国神经⽹络学家Hecht Nielsen 的观点，神经⽹络的定义是：“神经⽹络是由多个⾮常简单的处理单元彼此按某种⽅式相互连接⽽形成的计算机系统，该系统靠其状态对外部输息”。
综合神经⽹络的来源﹑特点和各种解释，它可简单地表述为：⼈⼯神经⽹络是⼀种旨在模仿⼈脑结构及其功能的信息处理系统。
⼈⼯神经⽹络（简称神经⽹络）：是由⼈⼯神经元互连组成的⽹络，它是从微观结构和功能上对⼈脑的抽象、简化，是模拟⼈类智能的⼀条重要途径，反映了⼈脑功能的若⼲基本特征，如并⾏信息处理、学习、联想、深度学习⼀般指深度神经⽹络，这⾥的深度指神经⽹络的层数（较多）。
深度学习⾥程碑单层感知器基本结构上⾯的感知器，相当于⼀个分类器，它使⽤⾼维的X向量作为输⼊，在⾼维空间对输⼊的样本进⾏⼆分类：当W^T X>0时，o=1，相当于样本被归类为其中⼀类。
否则，o=-1，相当于样本被归类为另⼀类。
这两类的边是⼀个⾼维超平⾯。
分割点分割直线分割平⾯分割超平⾯Ax+B=0Ax+By+C=0Ax+By+Cz+D=0W^T X+b=0感知器的训练法则感知器的训练法则：对于每⼀个训练样例<X,t>使⽤当前的权值计算感知器输出o；对于每⼀个权值做如下的更新：其中，X为输⼊向量，t为⽬标值，o为感知器当前权值下的输出，η为学习率，x_i和ω_i为向量X和W的第i个元素。
当训练样例线性可分时，反复使⽤上⾯的⽅法，经过有限次训练，感知器将收敛到能正确分类所有训练样例的分类器。
在训练样例线性不可分时，训练很可能⽆法收敛。
因此，⼈们设计了另⼀个法则来克服这个不⾜，称为delta法则。
它使⽤梯度下降（Gradient Descent）的⽅法在假设空间中所有可能的权向量，寻找到最佳拟合训练样梯度下降与损失函数l对于多元函数o=f(x)=f(x_0,x_1,…,x_n )，其在X^′=〖[〖x_0〗^′,〖x_1〗^′,…,〖x_n〗^′]' ' 〗^T处的梯度为：梯度向量的⽅向，指向函数增长最快的⽅向。
深度学习技术基础知识文档
深度学习技术基础知识文档第一章：深度学习概述1.1 什么是深度学习•深度学习是一种基于人工神经网络的机器学习方法，通过使用多层神经网络来实现复杂的数据处理和分析。
它可以学习数据的高级抽象特征和模式，实现对数据的精确识别和预测。
1.2 深度学习的核心原理•深度学习的核心原理包括：反向传播算法、激活函数、优化算法等。
这些原理使得深度学习网络可以学习数据的高级抽象特征和模式。
第二章：主要方法介绍2.1 卷积神经网络（CNN）•CNN是一种基于卷积和池化操作的神经网络，主要用于图像识别和分类。
它可以学习图像的局部特征和全局特征，实现对图像的精确识别和分类。
2.2 循环神经网络（RNN）•RNN是一种基于递归和循环连接的神经网络，主要用于序列数据的处理和分析。
它可以学习序列数据的时序特征和依赖关系，实现对序列数据的精确识别和预测。
2.3 长短时记忆网络（LSTM）•LSTM是一种基于门控循环单元的神经网络，主要用于序列数据的处理和分析。
它可以学习序列数据的长期依赖关系和时序特征，实现对序列数据的精确识别和预测。
第三章：应用领域3.1 自然语言处理（NLP）•NLP是人工智能的一个分支，主要研究如何使计算机理解和处理人类语言。
深度学习在NLP中的应用包括：文本分类、情感分析、机器翻译等。
3.2 计算机视觉（CV）•CV是人工智能的一个分支，主要研究如何使计算机理解和处理图像和视频。
深度学习在CV中的应用包括：图像识别、目标检测、图像生成等。
第四章：伦理考量4.1 数据隐私保护•数据隐私保护是深度学习应用中的一个重要伦理问题。
我们需要确保数据的隐私和安全，避免数据的滥用和泄露。
4.2 AI偏见和公平性•AI偏见和公平性是深度学习应用中的一个重要伦理问题。
我们需要确保AI系统的公平性和无偏见，避免AI系统的歧视和偏见。
第五章：结论•深度学习是一种强大的机器学习方法，可以实现对数据的精确识别和预测。
通过了解深度学习的核心原理和主要方法，我们可以更好地应用深度学习技术来解决实际问题。
深度学习与图像处理实战 第1章 深度学习基础
2006 年
2010 年
2012 年
2014 年
2016 年
2017 年
1.4 ห้องสมุดไป่ตู้度神经网络概述
1.4.1 VGGNet
VGGNet 是由英国牛津大学计算机视觉 组和 DeepMind 团队研究员一起研发的 深度卷积神经网络。它探索了卷积神经 网络的深度和其性能之间的关系，通过 反复地堆叠 3×3 的小型卷积核和 2×2 的最大池化层，成功地构建了 16～19 层的卷积神经网络。
条件的制约
深度学习的计算量非常大 对高性能硬件的依赖性较强 深度学习的模型复杂度很高
1.3 深度学习的历史
1.3.1 深度学习的起源
第 1 章 深度学习基础
5
1958 年 罗森布拉特正式提出了由两层神经元组成的神经网络，将其称为“感知机”。
➢ 感知机本质上是一种线性模型，可以对输入的训练集数据进行二分类，且能够在训 练集中自动更新权值。
第 1 章 深度学习基础
8
VGGNet 获得了 2014 年 ILSVRC 的 亚军和定位项目的冠军，在 ILSVRC 公开数据集上的错误率为 7.5%。到目 前为止，VGGNet 依然被用来提取图 像的特征。
1.4 深度神经网络概述
1.4.2 GoogLeNet
第 1 章 深度学习基础
9
GoogLeNet 是 Google 团队为了参加 2014 年的 ILSVRC 而精心准备的，是 2014 年 ILSVRC 的冠军。VGGNet 继承了 AlexNet 的一些框架结构，而 GoogLeNet 则做了更加大 胆的网络结构尝试，虽然其深度只有 22 层，但大小却比 AlexNet 和 VGGNet 小很多。 GoogLeNet 参数为 500 万个，AlexNet参数数量约是 GoogLeNet 的 12 倍，VGGNet 参 数数量又约是 AlexNet 的 3 倍，因此在内存或计算资源有限时，GoogLeNet 是比较好的选 择。从模型结果来看，GoogLeNet 的性能更加优越。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
深度神经网络全面概述从基本概念到实际模型和硬件基础深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。
近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。
鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。
目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。
DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。
因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。
本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。
特别地，本文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。
本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。
读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。
一、导语深度神经网络(DNN)目前是许多人工智能应用的基础[1]。
由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。
这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。
在这许多领域中，DNN 能够超越人类的准确率。
而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。
这与之前使用手动提取特征或专家设计规则的方法不同。
然而DNN 获得出众准确率的代价是高计算复杂性成本。
虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。
本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。
该论文的结构如下：•Section II 给出了DNN 为什么很重要的背景、历史和应用。
•Section III 给出了DNN 基础组件的概述，还有目前流行使用的DNN 模型。
•Section IV 描述了DNN 研发所能用到的各种资源。
•Section V 描述了处理DNN 用到的各种硬件平台，以及在不影响准确率的情况下改进吞吐量(thoughtput)和能量的各种优化方法(即产生bit-wise identical 结果)。
•Section VI 讨论了混合信号回路和新的存储技术如何被用于近数据处理(near-data processing)，从而解决DNN 中数据流通时面临的吞吐量和能量消耗难题。
•Section VII 描述了各种用来改进DNN 吞吐量和能耗的联合算法和硬件优化，同时最小化对准确率的影响。
•Section VIII 描述了对比DNN 设计时应该考虑的关键标准。
二、深度神经网络(DNN)的背景在这一部分，我们将描述深度神经网络(DNN)在人工智能这个大框架下的位置，以及一些促进其发展的的概念。
我们还将对其主要的发展历程和现阶段主要的应用领域做一个简单的介绍。
1. 人工智能和深度神经网络根据John McCarthy 的论述，深度神经网络(也称为深度学习)是人工智能(AI)大框架下的一部分。
而人工智能(AI)是利用科学与工程学创造具有如同人类那样能实现目标的智能机器。
人工智能这个词就是这位计算机科学家在上个世纪50 年代所创造出的。
深度学习和整个人工智能的关系就如下图所示。
图1：深度学习在人工智能大框架下的位置2. 神经网络和深度神经网络(DNN)神经网络从神经元涉及对输入值求加权和进行计算这一概念而获得灵感。
这些加权和对应于突触完成值的缩放以及其和神经元值间的组合。
此外，因为计算与神经元级联相关联，并且其为简单线性代数的运算，所以神经元不会仅仅输出加权和。
相反，在神经元中有函数执行组合输入的运算，而这种函数应该是非线性运算。
在非线性运算的过程中，神经元只有在输入超过一定阀值时才生成输出。
因此通过类比，神经网络将非线性函数运用到输入值的加权和中。
我们等一下会描述一些非线性函数。
图2：简单的神经网络例子。
(a) 神经元和突触，(b) 为每一层计算加权和，(c) 前向和反向(循环)网络，(d) 全连接与稀疏(a)中展示了计算神经网络的示意图。
图的前端是输入层，该层会接受输入数据值。
这些数据值前向传播到神经网络中间层的神经元中，中间层也常称为神经网络的隐藏层。
一个或多个隐藏层的加权和最终前向传播到输出层，该输出层会最终向用户呈现神经网络的输出结果。
为了将脑启发的术语和神经网络相匹配，神经元的输出通常称为激活(activation)，并且突触如(a)所示通常称为权重(weight)。
在上方表达式中，W_ij 代表着权重、x_i 为输入激活、y_i 是输出激活，而f(·) 就代表着在III-2 中描述的非线性激活函数。
在神经网络的领域内，有一门称为深度学习的研究。
普通神经网络基本上层级不会很多，而在深度学习里，神经网络的层级数量十分巨大，现如今基本上神经网络可以达到 5 到1000 多层。
3. 推理vs 训练这一节中，如图4 所示，我们将把图像分类用作训练DNN 的一个强劲的实例。
评估DNN 时，我们输入一个图像，DNN 为每一个对象分类输出分值向量;分值最高的分类将成为图像中最有可能的对象分类。
训练DNN 的总体目标是决定如何设置权重以最大化正确分类(来自标注的训练数据)的分值并最小化其他不正确分类的分值。
理想的正确分值与DNN 基于其当前权重计算的分值之间的差被称为损失值(L)。
因此训练DNN 的目标是找到一组权重以最小化大型数据集中的平均损失值。
图4：图像分类任务4. 开发历史•1940 年代- 神经网络被提出•1960 年代- 深度神经网络被提出•1989 年- 识别数字的神经网(LeNet)出现•1990 年代- 浅层神经网硬件出现(Intel ETANN)•2011 年- DNN 语音识别取得突破性进展(Microsoft)•2012 年- 用于视觉的DNN 开始替代人工放大(AlexNet)•2014 年+ - DNN 加速器研究兴起(Neuflow、DianNao 等等)图 5 的表柱是这些年来ImageNet 竞赛中每届冠军的表现。
你可以看到最初算法精确度的错误率在25% 或更多。
2012 年，多伦多大学的AlexNet 团队通过GPU 来提升其计算能力并采用深度神经网络方法，把错误率降低了近10% [3]。
他们的成功带来了深度学习风格的算法的井喷，以及图像识别技术的持续进步。
图5：ImageNet 竞赛[10] 结果5. DNN 的应用从多媒体到医疗，DNN 对很多应用大有裨益。
在这一节中，我们将展示DNN 正在发挥影响的领域，并凸显DNN 有望在未来发挥作用的新兴领域。
•图像和视频•语音和语言•医疗•游戏•机器人6. 嵌入vs 云执行DNN 推断处理的嵌入平台有着严格的能耗、计算和存储成本限制。
当DNN 推断在云中执行时，语音识别等应用经常有强烈的延迟需求。
因此，在本文中，我们将聚焦于推断处理而不是训练的计算需求。
三、深度神经网络概述根据应用情况不同，深度神经网络的形态和大小也各异。
流行的形态和大小正快速演化以提升模型准确性和效率。
所有深度神经网络的输入是一套表征网络将加以分析处理的信息的值。
这些值可以是一张图片的像素，或者一段音频的样本振幅或者某系统或者游戏状态的数字化表示。
处理输入的网络有两种主要形式：前馈以及循环(图2c)。
前馈网络中，所有计算都是在前一层输出基础上进行的一系列运作。
最终一组运行就是网络的输出，比如，这张图片包括某个特定物体的概率是多少，某段音频出现某个单词的概率是多少，或者下一步行动的建议等。
在这类深度神经网络中，网络并无记忆，输出也总是与之前网络输入顺序无关。
相反，循环网络(LSTM 是一个很受欢迎的变种)是有内在记忆的，允许长期依存关系影响输出。
在这些网络中，一些中间运行生成的值会被存储于网络中，也被用作与处理后一输入有关的其他运算的输入。
在这篇文章中，我们关注的是前馈网络，因为到目前为止，少有人关注硬件加速，特别是循环网络的。
深度神经网络也可以是全连接的(FC，也指多层感知器)，如图2(d)最左部分所示。
在一个全连接层中，所有输出与所有输入都是相连接的。
这需要相当数量的存储和计算空间。
谢天谢地，在许多应用中，我们可以移除激活(activations)之间的一些连接，方法就是将权重设置为零而不影响准确性。
结果会产生一个稀疏连接层。
图2(d)最右端的层就是一个稀疏连接层。
通过限制对结果有影响的权重数量，我们也可以实现更高效的计算。
如果每个输出仅仅是一个固定大小输入窗口的函数，就会出现这类结构化稀疏性。
如果这套权重被用于每一个输入计算，就会进一步提高效率。
这一权重共享能显着降低权重的存储要求。
通过将计算构建为卷积，一种非常流行的窗口式的权重共享的网络诞生了，如图6(a) 所示，其仅使用少量临近的激活来计算加权和的输出(即，该过滤器有一个有限的接受域，与输入的距离超过特定值的所有权重都将被设置为0)，而且这一套权重能被每个输入共享来计算(即，滤波器是空间不变的)。
这种结构稀疏性的形式正交于源自网络(修改情况如本文部分VII-B2 所述)的稀疏性。
所以，卷积神经网络就是一种受欢迎的深度神经网络形式。
1. 卷积神经网络(CNN)图6：卷积的维度。
(a) 传统图像处理中的二维卷积，(b) CNN 中的高维卷积图7：卷积神经网络表1：CONV/FC 层的形状参数给定表I 中的形状参数(shape parameters)，卷积层的计算可以定义为：2. 非线性(Non-Linearity)图8：多种形式的非线性激活函数(来自Caffe Tutorial [43])3. 池化(Pooling)图9：多种形式的池化(来自Caffe Tutorial [43])4. 归一化(Normalization)控制输入在层级中的分布能显着地加快训练速度并提升准确度。