深度神经网络全面概述
深度学习技术在语音识别中的研究与进展
深度学习技术在语音识别中的研究与进展随着人工智能技术的迅猛发展，深度学习技术在各个领域取得了重大突破。
语音识别作为其中一项关键技术，在近年来也取得了巨大的进展。
本文将探讨深度学习技术在语音识别领域的研究现状以及相关进展。
一、概述语音识别旨在将人类的语言转换为计算机可识别的形式。
长期以来，语音识别一直是人工智能领域的研究热点之一。
传统的语音识别技术主要基于统计模型和人工设计的特征提取算法，但在面对复杂而多变的语音信号时，效果有限。
而随着深度学习技术的崛起，特别是深度神经网络的广泛应用，语音识别领域开始迎来新的机遇。
二、深度学习在语音识别中的应用1. 深度神经网络的构建深度神经网络（Deep Neural Network，DNN）是深度学习技术在语音识别中的核心应用之一。
DNN通过多层神经元构成的网络实现对语音信号的建模。
其优势在于可以自动地从数据中学习到更高层次的抽象特征，从而提高语音识别的准确率。
2. 卷积神经网络的运用卷积神经网络（Convolutional Neural Network，CNN）作为深度学习领域的另一项重要技术，也被广泛应用于语音识别中。
CNN通过卷积层、池化层等结构对语音信号进行特征提取，进而实现对语音信号的分类与识别。
相比于传统的手工特征提取方法，CNN在语音识别中取得了更好的表现。
3. 递归神经网络的引入递归神经网络（Recurrent Neural Network，RNN）在语音识别中的应用也不可忽视。
RNN通过引入循环结构，可以处理时间序列数据。
语音信号具有时序性，因此RNN在语音识别中有着独特的优势。
通过RNN的使用，可以更好地捕捉语音信号中的时序信息，提高语音识别的准确性。
三、深度学习技术在语音识别中取得的进展1. 识别准确率的提升传统的语音识别技术在面对复杂的语音信号时，准确率通常较低。
而深度学习技术在语音识别中的应用，极大地改善了这一状况。
通过深度神经网络和卷积神经网络等模型的建立，语音识别的准确率显著提高。
基于深度神经网络的单边膨胀喷管性能优化方法研究
基于深度神经网络的单边膨胀喷管性能优化方法研究目录1. 内容综述 (2)1.1 研究背景 (2)1.2 研究意义 (4)1.3 国内外研究现状 (5)1.4 研究内容与方法 (6)2. 单边膨胀喷管基本理论 (8)2.1 单边膨胀喷管结构特点 (10)2.2 单边膨胀喷管工作原理 (11)2.3 单边膨胀喷管性能参数 (12)3. 深度神经网络原理及建模 (13)3.1 深度神经网络概述 (15)3.2 深度神经网络结构设计 (16)3.3 深度神经网络训练方法 (17)4. 单边膨胀喷管性能优化模型构建 (19)4.1 输入输出数据预处理 (20)4.2 神经网络模型设计 (22)4.3 优化目标函数设定 (23)5. 实例分析及验证 (24)5.1 实例数据选择 (26)5.2 模型训练与测试 (27)5.3 性能优化结果分析 (28)6. 优化效果对比与分析 (29)6.1 传统优化方法对比 (30)6.2 优化效果评价指标 (32)6.3 对比分析结论 (33)1. 内容综述随着航空航天技术的飞速发展，对推进系统效率的要求不断提高。
单边膨胀喷管作为火箭发动机及超音速飞行器中的关键部件，其性能直接影响到整个推进系统的效能。
因此，研究并优化单边膨胀喷管的设计，对于提升飞行器的整体性能至关重要。
本文旨在探索一种基于深度神经网络的单边膨胀喷管性能优化方法。
该方法通过构建深度学习模型来模拟喷管内部流场特性，从而实现对喷管设计参数的智能优化。
具体而言，本研究首先收集了大量实验数据，涵盖了不同工作条件下的喷管压力分布、温度变化以及流速等信息；然后利用这些数据训练了一个多层深度神经网络模型，该模型能够准确预测给定设计参数下喷管的工作状态；基于遗传算法与深度神经网络相结合的方法，对喷管设计进行了全局搜索优化，以期找到最佳设计方案。
此研究不仅为单边膨胀喷管的设计提供了新的思路，也为其他领域内复杂流体动力学问题的解决开辟了新途径。
人工智能 大模型算法
人工智能大模型算法随着人工智能技术的飞速发展，大模型算法已经成为这一领域的重要组成部分。
这些算法能够处理大规模数据，进行深度学习和模式识别，从而在各个领域中发挥重要作用。
本篇文章将详细介绍人工智能中的大模型算法，帮助读者全面了解这一技术的原理和应用。
一、大模型算法概述大模型算法是一种基于大规模数据的深度学习算法，通过训练模型来识别和预测各种数据模式。
这类算法能够处理海量数据，并在大量训练样本的帮助下，提高模型的准确性和可靠性。
大模型算法的应用范围广泛，包括自然语言处理、图像识别、声音识别等领域。
二、大模型算法原理大模型算法的核心是神经网络，这是一种模拟人脑工作方式的计算方法。
神经网络由多个神经元组成，每个神经元负责处理一种特定的数据模式。
通过训练，神经网络能够学会识别各种模式，并据此进行预测和决策。
在人工智能领域，大模型算法通常采用深度学习技术，通过大量的训练数据来优化模型参数，提高模型的准确性和泛化能力。
深度学习技术能够模拟人脑的学习方式，通过反复学习和调整，使模型逐渐适应各种复杂的数据模式。
三、大模型算法的类型1. 深度神经网络（DNN）：DNN是最常见的一种神经网络，通过多层神经元的组合和连接，实现复杂的模式识别和预测功能。
2. 卷积神经网络（CNN）：CNN在图像识别中具有优异的表现，通过卷积层、池化层等结构，有效地提取图像特征。
3. 循环神经网络（RNN）：RNN在处理序列数据中具有独特优势，能够捕捉到时间序列中的长期依赖关系。
4. 生成对抗网络（GAN）：GAN是一种竞争性神经网络架构，通过生成器和判别器的对抗训练，生成逼真的数据。
四、大模型算法的应用大模型算法在各个领域都有广泛的应用，包括但不限于：1. 自然语言处理：通过大模型算法，可以实现对文本、语音、图像等的自然语言理解与生成。
如机器翻译、智能问答、自动写作等。
2. 医疗诊断：大模型算法可用于医学图像分析，如CT、MRI扫描等，提高医生对疾病诊断的准确性。
cuDNN概述
cuDNN概述cuDNN概述NVIDIACUDA®深度神经⽹络库（cuDNN）是GPU加速的⽤于的原语库。
cuDNN为标准例程提供了⾼度优化的实现，例如向前和向后卷积，池化，规范化和激活层。
全球的深度学习研究⼈员和框架开发⼈员都依赖cuDNN来实现⾼性能GPU加速。
它使他们可以专注于训练神经⽹络和开发软件应⽤程序，⽽不必花时间在底层GPU性能调整上。
cuDNN的加快⼴泛使⽤的深度学习框架，包括，，，，，和。
已将cuDNN集成到框架中的NVIDIA优化深度学习框架容器，访问了解更多信息并开始使⽤。
8x Tesla V100 + cuDNN 7.6 on 20.03 NGC container vs. 8x Tesla A100 + cuDNN 8.0 Preview on Pre-Release NGC container. MaskRCNN, PyTorch TF32 vs FP32, Batch Size: 8. GNMT, PyTorch TF32 vs FP32, Batch Size: 512. WaveGlow, PyTorch TF32 vs FP32, Batch Size: 10. U-Net Medical, TensorFlow FP16 (Mixed) vs FP16, Batch Size: 16. U-Net Industrial, TensorFlow FP16 (Mixed) vs FP16, Batch Size: 24. TacoTron2, PyTorch FP16 (Mixed) vs FP16, Batch Size: 128.cuDNN 8的新增功能cuDNN 8针对A100 GPU进⾏了优化，提供了⽐V100 GPU⾼出5倍的⾼性能，并且包括针对会话AI和计算机视觉等应⽤程序的新优化和API。
经过重新设计，易于使⽤，集成应⽤程序，并为开发⼈员提供了更⼤的灵活性。
深度神经网络的发展现状
深度神经网络的发展现状深度神经网络（Deep Neural Network，DNN）是一种具有多层神经元的人工神经网络，其结构与人类的神经系统相似。
近年来，随着计算机硬件与算法技术的不断进步，深度神经网络在图像识别、自然语言处理、语音识别等领域取得了广泛应用，成为了人工智能领域的热门技术之一。
本文将就深度神经网络的发展现状进行探讨。
1. 深度神经网络的基本结构深度神经网络通常由输入层、隐藏层和输出层组成。
每个层都由若干个神经元构成，神经元之间的连接带有权重，且每个神经元都有一个激活函数，用于计算该神经元的输出值。
其中，输入层负责接收外部输入的数据，隐藏层则负责处理输入数据，提取数据中的特征，输出层则负责根据输入数据得到相应的输出结果。
2. 深度神经网络的训练方法深度神经网络的训练方法通常采用反向传播算法。
该算法通过计算网络输出值与实际结果之间的误差，然后按照一定的规则进行权重调整，从而不断完善网络的识别能力。
此外，还有很多针对深度神经网络的优化算法，如随机梯度下降法（Stochastic Gradient Descent，SGD）、Adagrad、Adam等。
这些优化算法能够在保证深度神经网络训练效果的同时，加快训练速度。
3. 深度神经网络的应用领域深度神经网络在图像识别、自然语言处理、语音识别等领域取得了广泛应用，为人工智能技术的发展提供了有力的支持。
在图像识别领域，深度神经网络可以对图片进行快速、准确的分类和识别，例如识别车牌、人脸等。
在自然语言处理领域，深度神经网络可以用于自然语言的情感分析、机器翻译、语言模型建立等。
在语音识别领域，深度神经网络能够通过处理语音信号，将语音转化为文本，实现不同语言之间的互识。
4. 深度神经网络的发展趋势随着互联网的不断普及和数据的不断积累，深度神经网络将会在更多的领域得到应用。
而在深度神经网络本身的研究方面，还有一些重要问题需要解决：（1）更高效的训练算法：当前的训练算法还需要不断优化，使深度神经网络能够更加高效地学习和处理数据；（2）更深度的网络结构：随着网络深度的增加，网络模型的复杂度也会不断提高，需要解决网络训练过程中的梯度消失和梯度爆炸问题；（3）更好的可解释性：深度神经网络是一种“黑箱”模型，其内部运作的机制需要更好地解释和理解。
人工神经网络基础_ANN课程笔记 2、深度神经网络
第二章深度神经网络一、概述1、基本概念深度学习（Deep Learning）是一种没有人为参与的特征选取方法，又被称为是无监督的特征学习（Unsupervised Feature Learning）。
深度学习思想的神经网络利用隐含层从低到高依次学习数据的从底层到高层、从简单到复杂、从具体到抽象的特征，而这一特性决定了深度学习模型可以学习到目标的自适应特征，具有很强的鲁棒性。
深度学习的另外一个思想是贪婪算法(greedy algorithm)的思想，其在训练的时候打破了几十年传统神经网络训练方法的“桎梏”，采用逐层训练(greedy layer-wise)的贪婪思想，并经过最后的微调(fine-tuning)，这一训练算法的成功也使得深度学习获得了巨大成功。
传统的模式识别方法：机器学习过程从最初的传感器得到原始的数据，到经过预处理，都是为了第三步和第四步的特征提取和特征选择，而这个耗时耗力的工作一般要靠人工完成。
这种靠人工的，需要大量的专业知识的启发式的特征提取方法注定要限制机器学习的发展，而深度学习的非监督学习阶段的“盲学习”的特性能够解决该问题，即：深度学习在特征提取和选择时是完全自主的，不需要任何的人工干预。
2、神经网络发展受限之处多隐含层的网络容易收敛到参数空间的局部最优解，即偏导数为0 的点，尤其在目标识别中，由于图像的信噪比很低，神经网络很容易陷入局部极小点； 训练算法与网络的初始参数有很大关系，比较容易过拟合；训练速度慢；在误差反向传播的训练算法中，层数越深，误差越小，甚至接近于0，造成训练失败。
误差反向传播算法必须要用到带标签的数据（有导师学习、监督学习），获取带标签的数据十分困难。
3、深度学习的学习算法深度学习的基本模型从形式上来看和神经网络一致，基本的结构单元都是神经元，由神经元组成网络层，整个网络由输入层，隐含层和输出层组成。
在深度学习理论中，一个网络的学习算法每运行一次，只调整一层网络的参数。
基于深度神经网络的文本情感分类方法研究和实现
基于深度神经网络的文本情感分类方法研究和实现概述：随着社交媒体和互联网的普及，大量的文本数据被产生和共享。
这些数据的情感分类对于舆情分析、营销策略、舆论引导等应用来说都非常重要。
深度神经网络作为一种利用机器学习和人工智能技术进行文本情感分类的方法，具有很大的潜力。
本文将探讨基于深度神经网络的文本情感分类方法的研究和实现。
一、深度神经网络简介深度神经网络（Deep Neural Network, DNN）是一种模拟人脑神经元的机器学习模型。
它的主要特点是可以通过多个隐藏层来学习和提取抽象的特征。
对于文本情感分类任务，可以使用深度神经网络来自动学习和分析文本中的情感特征。
二、文本情感分类问题文本情感分类是将文本数据分为积极、中性或消极的情感类别的任务。
传统的方法主要基于词袋模型和机器学习算法，但这些方法往往无法捕捉到文本的语义信息和上下文关系。
深度神经网络通过学习单词或词组的分布式表示，可以克服这些问题，提高情感分类的准确性。
三、深度神经网络在文本情感分类中的应用1. 词嵌入词嵌入是深度神经网络在处理文本数据中的关键步骤。
它通过将单词映射到一个低维向量空间中，使得单词的语义和上下文信息可以通过向量计算得到。
常用的词嵌入方法有Word2Vec和GloVe。
在进行文本情感分类时，可以为每个单词对应一个词向量作为输入。
2. 循环神经网络（Recurrent Neural Network, RNN）循环神经网络是一种能够处理序列数据的深度神经网络。
在文本情感分类中，可以使用RNN来捕捉上下文关系和长期的依赖关系。
通过建立一个记忆单元来传递信息，RNN可以有效地处理变长的文本输入，从而提高情感分类的性能。
3. 卷积神经网络（Convolutional Neural Network, CNN）卷积神经网络是一种通过局部感受野和权值共享来提取局部特征的神经网络模型。
在文本情感分类中，可以使用CNN来提取文本中的局部特征并进行分类。
基于结构重参数化的深度可分离卷积神经网络
基于结构重参数化的深度可分离卷积神经网络目录一、内容描述 (2)二、深度可分离卷积神经网络概述 (3)2.1 卷积神经网络基本结构 (4)2.2 深度可分离卷积定义及特点 (5)三、结构重参数化技术介绍 (5)3.1 重参数化技术概述 (6)3.2 结构重参数化在深度可分离卷积中的应用 (7)四、基于结构重参数化的深度可分离卷积神经网络模型构建 (8)4.1 模型架构设计 (10)4.2 模型训练与优化策略 (11)五、模型性能分析 (13)5.1 模型性能评估指标与方法 (13)5.2 实验结果分析 (15)5.3 模型性能优缺点讨论 (16)六、模型应用与案例分析 (17)6.1 图像识别领域应用 (19)6.2 目标检测领域应用 (20)6.3 其他领域应用及案例分析 (21)七、面临挑战与未来发展方向 (22)7.1 当前面临的挑战分析 (24)7.2 未来发展趋势预测与研究方向 (25)八、结论 (26)一、内容描述本文档旨在阐述一种新型的深度可分离卷积神经网络，该网络基于结构重参数化的理念进行设计。
在当前深度学习和计算机视觉领域，卷积神经网络（CNN）已成为主流技术之一，但传统CNN的计算成本和模型复杂度相对较高，这在很大程度上限制了其在资源受限环境中的应用。
针对这一难题，我们提出了一种基于结构重参数化的深度可分离卷积神经网络。
该网络的核心思想是通过重参数化技术来优化卷积层的计算效率和模型复杂度。
我们采用深度可分离卷积来替代传统的卷积操作，以减少模型的参数数量和计算量。
深度可分离卷积将传统的卷积过程分解为两个步骤：首先，对每个输入通道进行单独的卷积操作；然后，通过合并这些通道的结果来得到最终的输出。
这种设计不仅降低了模型的复杂度，而且在一定程度上保留了原始信息的丰富性。
为了进一步提升网络的性能，我们引入了结构重参数化的思想。
结构重参数化旨在通过共享网络参数或使用更低维度的嵌入来表示特征信息，进一步压缩模型规模和提高计算效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
深度神经网络全面概述从基本概念到实际模型和硬件基础深度神经网络(DNN所代表的人工智能技术被认为是这一次技术变革的基石(之一)。
近日，由IEEE Fellow Joel Emer领导的一个团队发布了一篇题为〈〈深度神经网络的有效处理：教程和调研(Efficient Processing of DeepNeural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。
鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。
目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks , DNN) DNN在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。
因此，那些能帮助DNN高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。
论文地址：pdf/本文旨在提供一个关于实现DNN的有效处理(efficient processing) 的目标的最新进展的全面性教程和调查。
特别地，本文还给出了一个DNN综述一一讨论了支持DNN的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN计算成本。
本文也会对帮助研究者和从业者快速上手DNN设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN硬件设计，还包括学界和产业界共同推荐的算法联合设计。
读者将从本文中了解到以下概念：理解DNN的关键设计考量；通过基准和对比指标评估不同的DNN硬件实现;理解不同架构和平台之间的权衡；评估不同DNN有效处理技术的设计有效性；理解最新的实现趋势和机遇。
一、导语深度神经网络(DNN)目前是许多人工智能应用的基础［1］。
由于DNN在语音识别［2］和图像识别［3］上的突破性应用，使用DNN的应用量有了爆炸性的增长。
这些DNN被部署到了从自动驾驶汽车［4］、癌症检测［5］到复杂游戏［6］等各种应用中。
在这许多领域中，DNN能够超越人类的准确率。
而DNN的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。
这与之前使用手动提取特征或专家设计规则的方法不同。
然而DNN获得出众准确率的代价是高计算复杂性成本。
虽然通用计算引擎(尤其是GPU)，已经成为许多DNN处理的砥柱，但提供对DNN计算更专门化的加速方法也越来越热门。
本文的目标是提供对DNN理解DNN行为的各种工具、有效加速计算的各项技术的概述。
该论文的结构如下：Section II 给出了DNN为什么很重要的背景、历史和应用。
Section III 给出了DNN基础组件的概述，还有目前流行使用的DNN模型。
Section IV 描述了DNN研发所能用到的各种资源。
Section V 描述了处理DNN用到的各种硬件平台，以及在不影响准确率的情况下改进吞吐量(thoughtput)和能量的各种优化方法(即产生bit-wise identical 结果)。
Section VI讨论了混合信号回路和新的存储技术如何被用于近数据处理(near-data processing)，从而解决DNN中数据流通时面临的吞吐量和能量消耗难题。
Section VII 描述了各种用来改进DNN吞吐量和能耗的联合算法和硬件优化，同时最小化对准确率的影响。
Section VIII 描述了对比DNN设计时应该考虑的关键标准。
二、深度神经网络(DNN)的背景在这一部分，我们将描述深度神经网络(DNN)在人工智能这个大框架下的位置，以及一些促进其发展的的概念。
我们还将对其主要的发展历程和现阶段主要的应用领域做一个简单的介绍。
1. 人工智能和深度神经网络根据John McCarthy 的论述，深度神经网络(也称为深度学习)是人工智能(AI) 大框架下的一部分。
而人工智能(AI) 是利用科学与工程学创造具有如同人类那样能实现目标的智能机器。
人工智能这个词就是这位计算机科学家在上个世纪50 年代所创造出的。
深度学习和整个人工智能的关系就如下图所示。
图 1 ：深度学习在人工智能大框架下的位置2. 神经网络和深度神经网络(DNN)神经网络从神经元涉及对输入值求加权和进行计算这一概念而获得灵感。
这些加权和对应于突触完成值的缩放以及其和神经元值间的组合。
此外，因为计算与神经元级联相关联，并且其为简单线性代数的运算，所以神经元不会仅仅输出加权和。
相反，在神经元中有函数执行组合输入的运算，而这种函数应该是非线性运算。
在非线性运算的过程中，神经元只有在输入超过一定阀值时才生成输出。
因此通过类比，神经网络将非线性函数运用到输入值的加权和中。
我们等一下会描述一些非线性函数。
图2：简单的神经网络例子。
(a) 神经元和突触，(b) 为每一层计算加权和，(c) 前向和反向(循环)网络，(d) 全连接与稀疏(a) 中展示了计算神经网络的示意图。
图的前端是输入层，该层会接受输入数据值。
这些数据值前向传播到神经网络中间层的神经元中，中间层也常称为神经网络的隐藏层。
一个或多个隐藏层的加权和最终前向传播到输出层，该输出层会最终向用户呈现神经网络的输出结果。
为了将脑启发的术语和神经网络相匹配，神经元的输出通常称为激活(activation) ，并且突触如(a) 所示通常称为权重(weight) 。
在上方表达式中，W_ij代表着权重、x_i为输入激活、y_i是输出激活，而f( •)就代表着在III-2 中描述的非线性激活函数。
在神经网络的领域内，有一门称为深度学习的研究。
普通神经网络基本上层级不会很多，而在深度学习里，神经网络的层级数量十分巨大，现如今基本上神经网络可以达到 5 到1000 多层。
3. 推理vs 训练这一节中，如图 4 所示，我们将把图像分类用作训练DNN 的一个强劲的实例。
评估DNN 时，我们输入一个图像，DNN 为每一个对象分类输出分值向量;分值最高的分类将成为图像中最有可能的对象分类。
训练DNN 的总体目标是决定如何设置权重以最大化正确分类(来自标注的训练数据)的分值并最小化其他不正确分类的分值。
理想的正确分值与DNN 基于其当前权重计算的分值之间的差被称为损失值(L)。
因此训练DNN的目标是找到一组权重以最小化大型数据集中的平均损失值。
图4 :图像分类任务4. 开发历史1940年代-神经网络被提出I960年代-深度神经网络被提出1989年-识别数字的神经网(LeNet)出现1990年代-浅层神经网硬件出现(Intel ETANN)2011年-DNN语音识别取得突破性进展(Microsoft)2012年-用于视觉的DNN开始替代人工放大(AlexNet)2014年+ - DNN 加速器研究兴起(Neuflow、DianNao等等)图5的表柱是这些年来ImageNet竞赛中每届冠军的表现。
你可以看到最初算法精确度的错误率在25%或更多。
2012年，多伦多大学的AlexNet团队通过GPU来提升其计算能力并采用深度神经网络方法，把错误率降低了近10% [3]。
他们的成功带来了深度学习风格的算法的井喷，以及图像识别技术的持续进步。
图5 : ImageNet竞赛[10] 结果5. DNN的应用从多媒体到医疗，DNN对很多应用大有裨益。
在这一节中，我们将展示DNN正在发挥影响的领域，并凸显DNN有望在未来发挥作用的新兴领域。
图像和视频语音和语言医疗游戏机器人6. 嵌入vs 云执行DNN推断处理的嵌入平台有着严格的能耗、计算和存储成本限制。
当DNN推断在云中执行时，语音识别等应用经常有强烈的延迟需求。
因此，在本文中，我们将聚焦于推断处理而不是训练的计算需求。
三、深度神经网络概述根据应用情况不同，深度神经网络的形态和大小也各异。
流行的形态和大小正快速演化以提升模型准确性和效率。
所有深度神经网络的输入是一套表征网络将加以分析处理的信息的值。
这些值可以是一张图片的像素，或者一段音频的样本振幅或者某系统或者游戏状态的数字化表示。
处理输入的网络有两种主要形式：前馈以及循环(图2c) 。
前馈网络中，所有计算都是在前一层输出基础上进行的一系列运作。
最终一组运行就是网络的输出，比如，这张图片包括某个特定物体的概率是多少，某段音频出现某个单词的概率是多少，或者下一步行动的建议等。
在这类深度神经网络中，网络并无记忆，输出也总是与之前网络输入顺序无关。
相反，循环网络(LSTM 是一个很受欢迎的变种)是有内在记忆的，允许长期依存关系影响输出。
在这些网络中，一些中间运行生成的值会被存储于网络中，也被用作与处理后一输入有关的其他运算的输入。
在这篇文章中，我们关注的是前馈网络，因为到目前为止，少有人关注硬件加速，特别是循环网络的。
深度神经网络也可以是全连接的(FC,也指多层感知器)，如图2(d)最左部分所示。
在一个全连接层中，所有输出与所有输入都是相连接的。
这需要相当数量的存储和计算空间。
谢天谢地，在许多应用中，我们可以移除激活(activations) 之间的一些连接，方法就是将权重设置为零而不影响准确性。
结果会产生一个稀疏连接层。
图2(d) 最右端的层就是一个稀疏连接层。
通过限制对结果有影响的权重数量，我们也可以实现更高效的计算。
如果每个输出仅仅是一个固定大小输入窗口的函数，就会出现这类结构化稀疏性。
如果这套权重被用于每一个输入计算，就会进一步提高效率。
这一权重共享能显著降低权重的存储要求。
通过将计算构建为卷积，一种非常流行的窗口式的权重共享的网络诞生了，如图6(a) 所示，其仅使用少量临近的激活来计算加权和的输出(即，该过滤器有一个有限的接受域，与输入的距离超过特定值的所有权重都将被设置为0)，而且这一套权重能被每个输入共享来计算( 即，滤波器是空间不变的) 。
这种结构稀疏性的形式正交于源自网络(修改情况如本文部分VII-B2 所述)的稀疏性。
所以，卷积神经网络就是一种受欢迎的深度神经网络形式。
1. 卷积神经网络(CNN)图6：卷积的维度。
(a) 传统图像处理中的二维卷积，(b) CNN 中的高维卷积图7 ：卷积神经网络表1 : CONV/FC层的形状参数给定表I 中的形状参数(shape parameters) ，卷积层的计算可以定义为：2. 非线性(Non-Linearity)图8：多种形式的非线性激活函数(来自Caffe Tutorial [43])3. 池化(Pooling)图9 :多种形式的池化（来自Caffe Tutorial [43]）4. 归一化（Normalization）控制输入在层级中的分布能显著地加快训练速度并提升准确度。