深度学习研究概述(2)
深度学习概述
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
目录1简介2基础概念▪深度▪解决问题3核心思想4例题5转折点6成功应用1简介深度学习的概念源于人工神经网络的研究。
含多隐层的多层感知器就是一种深度学习结构。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
[2]深度学习的概念由Hinton等人于2006年提出。
基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
[2]2基础概念深度：从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算深度学习的值(计算的结果被应用到这个节点的孩子节点的值)。
考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。
输入节点没有孩子，输出节点没有父亲。
这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。
传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。
SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。
深度学习介绍范文
深度学习介绍范文
深度学习（Deep Learning），是机器学习的一个领域，是近十年最
著名的机器学习研究创新，其基本原理是建立一个由大量的隐层和节点组
成的非线性模型，利用复杂的数据运算，使得系统的表现比传统的机器学
习方法更加准确，准确度可以达到人类的水平。
深度学习的核心思想是从输入到输出之间构建多层变换，以捕捉数据
的特征，推断其行为。
每一层变换可以看作是一个函数，它可以提取在该
层变换之前的特征，并将它们映射到该层变换之后的特征，从而获得更高
层的表示。
许多深度学习模型都是以向量和矩阵的形式定义的，这样可以
利用多维度的特征进行模型设计，从而获得更加精确的预测结果。
在深度学习中，参数是不断优化的，因此它具有自我调整的特点。
一
个模型的参数可以通过反向传播(Back-Propagation)的方法自动调整，这
是深度学习的基本思路之一、当我们使用深度学习模型进行训练时，可以
用梯度下降法，根据训练数据来更新参数，让模型的表现越来越好，从而
达到最优的训练结果。
深度学习是一个重要的研究课题，它有着多个应用领域，如机器视觉、自然语言处理、语音识别和智能控制。
深度学习讲义
谯平 2016年07月21日
目录
• 什么是深度学习 • 为什么需要深度学习 • 深度学习如何进行训练 • 深度学习常用模型 • 深度学习框架Caffe
什么是深度学习-概述
• 深度学习：一种基于无监督特征学习和特征 层次结构的学习方法
• 基本原理：深度学习的概念源于人工神经网 络的研究。深度学习通过组合低层特征形成 更加抽象的高层表示属性类别或特征，以发 现数据的分布式特征表示。
为什么需要深度学习-深层
• 结构性特征表示
为什么需要深度学习-深层
• 浅层学习的局限 ✓ 人工神经网络（BP算法） —虽被称作多层感知机，但实际是种只含有一层隐层
节点的浅层模型 ✓ SVM、Boosting、最大熵方法（如LR，Logistic
Regression） —带有一层隐层节点（如SVM、Boosting），或没有
传统的模式识别方法：
底层感知
预处理
特征提取 特征选择 预测与识别
• 良好的特征表达，对最终算法的准确性起了非常关键的作用； • 识别系统主要的计算和测试工作耗时主要集中在特征提取部分； • 特征的样式目前一般都是人工设计的，靠人工提取特征。
为什么需要深度学习-特征
• 机器学习中，获得好的特征是识别成功的关键 • 目前存在大量人工设计的特征，不同研究对象特
孔发现了眼前的物体的边缘，而且这个边缘指向某个方向 时，这种神经元细胞就会活跃
为什么需要深度学习-源头
• 由此可知人的视觉系统的信息处理是分级的，高层的特征 是低层特征的组合，从低层到高层的特征表示越来越抽象 ，越来越能表现语义或者意图，抽象层面越高，存在的可 能猜测就越少，就越利于分类。
为什么需要深度学习-特征
国外近十年深度学习实证研究综述主题、情境、方法及结果
国外近十年深度学习实证研究综述主题、情境、方法及结果一、概述：二、主题分类：计算机视觉：该主题主要关注图像识别、目标检测、图像生成等任务。
研究者利用深度学习模型，如卷积神经网络（CNN），在图像分类、人脸识别、物体检测等任务上取得了显著成果。
自然语言处理：自然语言处理是深度学习的另一重要应用领域。
研究者使用循环神经网络（RNN）、长短期记忆网络（LSTM）、变压器（Transformer）等模型进行文本生成、情感分析、机器翻译等任务，推动了自然语言处理技术的发展。
语音识别与生成：深度学习在语音识别和语音合成方面也有广泛应用。
研究者利用深度学习模型进行语音特征提取、语音识别和语音合成，提高了语音技术的准确性和自然度。
游戏与人工智能：深度学习在游戏领域的应用也日益增多。
研究者利用深度学习模型进行游戏策略学习、游戏内容生成等任务，提高了游戏的智能性和趣味性。
医疗与健康：深度学习在医疗领域的应用也备受关注。
研究者利用深度学习模型进行疾病诊断、药物研发、医疗影像分析等任务，为医疗健康领域的发展提供了有力支持。
这些主题分类展示了深度学习在不同领域和应用场景中的广泛应用和巨大潜力。
通过对这些主题的深入研究和分析，我们可以更好地理解深度学习的发展趋势和应用前景。
1. 计算机视觉在计算机视觉领域，深度学习技术的应用已经取得了显著的突破。
近年来，卷积神经网络（CNN）成为了该领域的主导模型，特别是在图像分类、目标检测、图像分割等方面。
AlexNet、VGG、GoogleNet、ResNet等模型的出现，不断刷新了图像分类任务上的准确率记录。
主题：计算机视觉的核心任务是让机器能够像人一样“看懂”图像和视频，从而进行自动分析和理解。
深度学习通过模拟人脑神经元的连接方式，构建出复杂的网络结构，实现对图像的高效特征提取和分类。
情境：计算机视觉的应用场景非常广泛，包括人脸识别、自动驾驶、医学影像分析、安全监控等。
在这些场景中，深度学习模型需要处理的数据集往往规模庞大，且存在噪声、模糊等问题，因此模型的鲁棒性和泛化能力成为研究重点。
深度学习概述范文
深度学习概述范文深度学习是一种机器学习方法，它通过模拟人脑神经网络的工作方式，从而能够自动地学习和理解数据。
深度学习技术在计算机视觉、自然语言处理和语音识别等领域取得了重大突破，其应用范围越来越广泛。
深度学习的基础是神经网络，它由多层神经元组成，每一层都将数据传递给下一层。
深度学习通过调整神经网络的权重和偏差来学习数据的表示，从而能够对未知数据进行准确的预测和分类。
与传统的机器学习方法相比，深度学习能够处理大量的数据，并且能够从中学习到更复杂的模式和特征。
深度学习的核心是反向传播算法，它通过反向计算梯度来调整神经网络的权重和偏差。
反向传播算法使用梯度下降来最小化损失函数，从而能够使神经网络的输出尽可能地接近真实值。
深度学习的训练过程需要大量的计算资源和时间，但是一旦完成训练，深度学习模型就可以在较短的时间内对新数据进行预测。
深度学习的成功离不开大数据的支持。
与传统的机器学习方法相比，深度学习需要更多的数据来训练和优化模型。
因此，深度学习在计算机视觉、自然语言处理和语音识别等领域的成功，主要得益于近年来大数据的迅猛发展。
大数据的丰富使得深度学习模型能够从中学习到更多的模式和特征，从而能够更好地进行预测和分类。
深度学习的一个重要应用是计算机视觉。
深度学习模型在图像分类、目标检测和图像生成等任务上表现出色。
例如，深度学习模型能够通过学习大量的图像数据，自动地识别图像中的物体和场景，并进行分类和标注。
深度学习模型还可以用于图像生成，通过学习大量的图像数据，深度学习模型可以生成新的图像，这种技术在影视制作和游戏开发等领域有着广泛的应用。
深度学习还在自然语言处理领域取得了重大进展。
深度学习模型能够通过学习大量的文本数据，理解和生成自然语言。
例如，深度学习模型可以通过学习大量的新闻报道，自动地进行文本分类和情感分析。
深度学习模型还可以用于机器翻译，通过学习大量的平行语料库，深度学习模型可以自动地进行翻译，这对于跨语言交流和信息获取具有重要意义。
深度学习技术基础知识文档
深度学习技术基础知识文档第一章：深度学习概述1.1 什么是深度学习•深度学习是一种基于人工神经网络的机器学习方法，通过使用多层神经网络来实现复杂的数据处理和分析。
它可以学习数据的高级抽象特征和模式，实现对数据的精确识别和预测。
1.2 深度学习的核心原理•深度学习的核心原理包括：反向传播算法、激活函数、优化算法等。
这些原理使得深度学习网络可以学习数据的高级抽象特征和模式。
第二章：主要方法介绍2.1 卷积神经网络（CNN）•CNN是一种基于卷积和池化操作的神经网络，主要用于图像识别和分类。
它可以学习图像的局部特征和全局特征，实现对图像的精确识别和分类。
2.2 循环神经网络（RNN）•RNN是一种基于递归和循环连接的神经网络，主要用于序列数据的处理和分析。
它可以学习序列数据的时序特征和依赖关系，实现对序列数据的精确识别和预测。
2.3 长短时记忆网络（LSTM）•LSTM是一种基于门控循环单元的神经网络，主要用于序列数据的处理和分析。
它可以学习序列数据的长期依赖关系和时序特征，实现对序列数据的精确识别和预测。
第三章：应用领域3.1 自然语言处理（NLP）•NLP是人工智能的一个分支，主要研究如何使计算机理解和处理人类语言。
深度学习在NLP中的应用包括：文本分类、情感分析、机器翻译等。
3.2 计算机视觉（CV）•CV是人工智能的一个分支，主要研究如何使计算机理解和处理图像和视频。
深度学习在CV中的应用包括：图像识别、目标检测、图像生成等。
第四章：伦理考量4.1 数据隐私保护•数据隐私保护是深度学习应用中的一个重要伦理问题。
我们需要确保数据的隐私和安全，避免数据的滥用和泄露。
4.2 AI偏见和公平性•AI偏见和公平性是深度学习应用中的一个重要伦理问题。
我们需要确保AI系统的公平性和无偏见，避免AI系统的歧视和偏见。
第五章：结论•深度学习是一种强大的机器学习方法，可以实现对数据的精确识别和预测。
通过了解深度学习的核心原理和主要方法，我们可以更好地应用深度学习技术来解决实际问题。
深度学习在图像识别中的研究与应用
深度学习在图像识别中的研究与应用一、引言随着科技的不断发展，图像识别技术越来越成熟。
深度学习作为人工智能的一个重要分支，在图像识别领域发挥着重要作用。
本文将详细介绍深度学习在图像识别中的研究和应用。
二、深度学习的概述深度学习是一种机器学习的方法，它模仿人类大脑的神经网络结构，通过多层模型对数据进行特征提取和转换，最终实现预测和分类任务。
深度学习在图像识别中的优势在于它可以自动学习多层次的抽象特征，并通过大量的数据进行模型的训练，从而提高图像识别的准确性和稳定性。
三、深度学习在图像分类中的应用1.卷积神经网络（CNN）卷积神经网络是深度学习在图像分类中应用最为广泛的模型之一。
它通过卷积层和池化层对图像进行特征提取，然后通过全连接层实现分类。
卷积神经网络具有良好的局部特征提取能力，可以捕捉图像中的细节信息，广泛应用于人脸识别、物体检测和图像分割等领域。
2.循环神经网络（RNN）循环神经网络是一种适用于序列数据处理的深度学习模型，对于图像分类中的序列问题（例如识别手写数字），循环神经网络具有良好的效果。
循环神经网络通过隐藏层之间的反馈连接，能够记忆之前的状态，从而更好地利用序列数据的上下文信息。
四、深度学习在目标检测中的应用1.区域卷积神经网络（R-CNN）R-CNN是一种先进的目标检测算法，它是结合了卷积神经网络和区域建议网络（RPN）的模型。
R-CNN首先通过RPN生成候选框，然后使用卷积神经网络提取每个候选框的特征，最后通过支持向量机（SVM）进行分类和边界框回归。
R-CNN在目标检测领域取得了良好的性能。
2.单阶段目标检测神经网络（YOLO）YOLO是一种快速而有效的目标检测算法，它使用单个神经网络直接从图像中预测候选框和类别概率。
YOLO将目标检测任务转化为一个回归问题，通过卷积神经网络实现目标位置的定位和分类。
YOLO在速度和准确性上都表现出色，广泛应用于实时目标检测和无人驾驶等领域。
五、深度学习在图像分割中的应用图像分割是将图像中的像素进行分类的任务，深度学习也在这一领域取得了重大突破。
深度学习方法研究综述
深度学习方法研究综述一、本文概述随着技术的飞速发展，深度学习作为其中的一项关键技术，已经在许多领域取得了显著的突破。
本文旨在对深度学习方法进行全面的研究综述，以期为读者提供一个清晰、系统的深度学习知识体系。
我们将从深度学习的基本原理、发展历程、主要算法、应用领域以及未来发展趋势等方面展开详细的介绍和分析。
我们将回顾深度学习的基本原理，包括神经网络的基本结构、激活函数的作用、优化算法的选择等。
在此基础上，我们将探讨深度学习的发展历程，从早期的感知机模型到现代的卷积神经网络、循环神经网络等，以及深度学习在各领域的应用情况。
接下来，我们将详细介绍几种主流的深度学习算法，如卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）等。
我们将对这些算法的基本原理、优缺点以及在实际应用中的表现进行深入分析。
本文还将关注深度学习的应用领域，包括计算机视觉、自然语言处理、语音识别、推荐系统等。
我们将通过具体的案例来展示深度学习在这些领域中的实际应用价值和潜力。
我们将对深度学习的未来发展趋势进行展望，探讨深度学习在未来可能面临的挑战和机遇，以及可能的新技术和新方法。
本文旨在对深度学习方法进行全面的研究综述，帮助读者更好地理解和应用深度学习技术。
我们希望通过本文的介绍和分析，为深度学习领域的发展贡献一份力量。
二、深度学习的基本原理深度学习的基本原理主要建立在人工神经网络（ANN）的基础上，通过模拟人脑神经元的连接方式，构建深度神经网络（DNN）模型。
DNN通过多层非线性变换，将低层次的特征组合成高层次的特征表示，从而实现对复杂数据的抽象和表示。
深度学习的核心在于通过反向传播算法（Backpropagation）和梯度下降法（Gradient Descent）优化网络参数，使得网络输出与真实标签之间的误差最小化。
在训练过程中，通过不断迭代更新网络权重，使得网络能够从大量无标签或弱标签数据中学习到有效的特征表示和数据分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息与电脑 China Computer&a6 年第 3 期
深度学习研究概述
刘钰鹏
（北方民族大学，宁夏 银川 750021）
摘 要： 深度学习作为机器学习的一个新的研究方向，近年来在许多领域的应用中取得了突破性进展。2006 年， Geoffrey Hinton 教授发表的一篇文章开启了深度学习在学术界和工业界的浪潮。如今，深度学习已经在许多领域的应 用中具有举足轻重的地位。2012 年，谷歌 Google Brain 项目建立的深度神经网络学习模型，在语音识别和图像第一个重点研究方向便是深度学习。同年， MIT Technology Review 杂志将深度学习列为 2013 年十大突破技术之首。本文将主要介绍这一逐渐兴起的新技术的基本 概况。 关键词：深度学习；层次性学习；深度置信网络；卷积神经网络 中图分类号：TP18 文献标识码：A 文章编号：1003-9767（2016）03-052-02
结构层的非完全连接的神经网络结构。卷积层由多个用于抽 取表征的特征平面构成，每个特征平面由许多神经元构成。 卷积神经网络是一个多层的神经网络，每层由多个二维平面 组成，而每个平面上分布着多个独立神经元，上一层中的局 部单元输出量作为下一层邻近单元的输入。输入图像通过可 训练的滤波器加偏置量进行卷积，卷积后在卷积层产生多个 映射平面。次抽样层的特征映射平面需要将卷积层输出的映 射平面中的每组像素通过求和、加权、偏置等操作，再经过 sigmoid 函数的处理得到。之后，次抽样层输出的映射平面 经过滤波处理后得到新的卷基层，并将其进行与次抽样层相 同的处理得到下一层。最终，这些像素值被光栅化，并连接 成一个向量输入到传统的神经网络，得到输出。一般情况下， 都是先进行表征提取，将每个神经元的输入与前一层的局部 感受野相连，通过一系列操作获取表征。一旦该局部表征被 提取，它与其他表征间的位置关系便被确定下来。特征提取 后一般进行特征映射操作。网络的每个计算层由多个特征映 射组成，每个特征映射单元为一个平面，平面上所有神经元 的权值相等。特征映射结构采用严格递增函数 sigmoid 函数 作为卷积网络的激活函数。它能较好地平衡线性和非线性之 间的行为，使得特征映射具有位移不变性。 此外，由于相同映射面上的神经元共享权值，因而减少 了网络自由参数的个数，降低了网络参数选择的复杂度。构 建过程中，卷积神经网络每一个特征提取层后都会跟随一个 次抽样层。这种特有的两次特征提取结构、局部感受野、权 值共享以及时间或空间亚采样等几种结构思想结合起来，获 得了某种程度的位移、尺度、形变不变性。 2.2 深度置信网络（DBN） 深度置信网络是由多个受限玻尔兹曼机（RBM）堆叠 而成的。RBM 是由 G.E.Hinton 等提出的一种基于能量理论 的概率模型，并通过热力学能量函数定义了一个概率分布。
１ 深度学习的简介
深度学习的“深度”是相对于传统的分类、回归等“浅 层学习”方法而言的。浅层学习方法会出现因样本和计算单 元有限而对复杂函数的表示能力产生限制的缺陷，致使这些 浅层方法针对复杂分类问题的泛化能力受到一定制约。而深 度学习的实质在于通过海量数据和构建多隐层的人工神经网 络，经过训练对原始信号进行逐层特征变换，将样本在空间 的特征表示映射到新的特征空间，无监督地学习，得到层次 化的特征表示。 深度学习的层次结构一般由输入层、隐层、输出层组成。 其中，相邻层的节点之间有连接，同一层节点之间无连接。 这种分层训练的模式就是模拟人类大脑对外部输入的声音、 图像、文本等数据进行从低维到高维的特征提取，从而解释 外部数据的过程。而深度学习正是因为其具有多层非线性映 射的深层结构，才可以完成复杂函数的函数逼近。
— ５３ —
２ 深度学习的经典算法
深度学习是机器学习的一个分支，也有监督学习与无监 督学习之分。例如，卷积神经网络（CNNs），多层感知机 等属于监督学习；深度置信网络（DBNs）、自动编码器、 系数编码等属于无监督学习。本文分别以卷积神经网络和深 度置信网络为例进行介绍。 2.1 卷积神经网络（CNNs） Hubel 和 Wiesel 在研究猫脑皮层时，发现了一种可以有 效降低反馈神经网络的复杂性的独特神经网络结构。受此启 发，Fikushima、LeCun 等学者提出卷积神经网络，并将其成 功运用。而今，卷积神经网络已经发展成为一种具有高准确 率的图像识别方法。 卷积神经网络是一种包含卷积层和次抽样层两种特殊
作者简介：刘钰鹏（1990-），男，山东牟平人，研究生在读。研究方向：基于深度学习的三维 CAD 模型检索。
— ５２ —
2016 年第 3 期
信息与电脑 China Computer&Communication
计算机工程应用技术
RBM 结构分为可视层（v）和隐层（h），每一层节点之间无 连接，但层与层之间通过权值 w 彼此连接。这也是 RBM 的 一个优点，其所有可视的节点独立于其他可视节点（隐层节 点亦然）。 RBM 的传统训练方法：初始化可视层后，在可视层与 隐层之间交替进行吉布斯采样，即用条件分布概率 P(h|v) 计 算隐层；将其输出作为可视层的输入，同样用条件分布概 率 P(h|v) 来计算；重复进行这样的采样过程，直到可视层和 隐层达到平稳分布的状态。这种方式下，通常需要使用次数 较多的采样，尤其是在数据的特征维度较高时，使得训练效 率不高。因而，Hinton 提出了一种快速算法，称作对比散度 （contrastive divergence，CD）学习算法。这种算法使用训 练数据初始化可视层后，只需要较少次迭代就可获得对模型 的估计 。 深度置信网络是将多个 RBM 堆叠起来。DBNs 训练分 为两个阶段：预训练与微调。预训练时，每一层都是进行无 监督学习，将前一层的输出作为后一层的输入，直至最高层。 将训练好的网络参数值作为整体网络参数的初始值，之后便 是微调，即利用有监督的学习对网络进行训练。
参考文献
[1]SMOLENSKY P. Information Processing in Dynamical Systems ： Foundations of Harmony Theory[A]//Rumelhart D E,McClelland J L.Parallel Distributed Processing[M]. Cambridge MA： MIT Press,1986：194-281. [2]Hinton G E, Salakhutdinov R R. Reducing the D i me nsi onal it y of D a ta Wit h N e ur a l N e t w or ks[ J] . Science,2006(5786)：504-507. [3]D Bahdanau,K Cho,Y Bengio.Neural Machine Translation by Jointly Learning to Align and Translate[M].Los Alamos：Eprint Arxiv,2014. [4]Shuhui Bu, PengchengHan, ZhenbaoLiu , JunweiHan , HongweiLin.Local Deep Feature Learning Framework for 3D Shape[J].Computers&Graphics,2015：117-129. [5]Fei-wei QIN, Lu-ye LI, Shu-ming GAO, Xiaol i n g YA N G , X i a n g C H E N . A D e e p L e a r n i n g A p p r o a c h to the Classification of 3D CAD Models[J].Comput & Electron,2014：91-106.
[1]
词，预测对应于该单词的目标单词，效果明显优于 RNNenc 模型。 近一段时间，深度学习被图形领域的学者所关注。Bu 等 人 [4] 也 将 深 度 学 习 引 入 3D 模 型 中。 他 们 通 过 对 Google 3D Warehouse 的分析，选择基于特征的描述符。首先，他 们使用尺度不变的热核描述符和平均测地线距离提取 3D 模 型的低层描述符，然后生成中层描述符 LGA-BoF（the local geodesic-aware bag-of-features），最后构建深度置信网络， 并将中层描述符作为输入进行学习。Qin 等人 [5] 首次将深度 学习引入 3D 模型的检索中，他们选择基于视图的 3D 描述符 即 LFD，从 10 个光域对模型进行拍照，每个光域获取 20 个 角度的模型图像信息，然后从这些图像中提取泽尼克矩描述 符作为深层神经网络的输入进行学习，学习后的分类效果比 较理想。
４ 结 语
深度学习已经成功应用于很多领域的模式分类问题。这 一领域虽处于发展初期，还存在许多问题，但其对机器学习 领域的影响力不容小觑。
３ 深度学习应用
近年来，深度学习在图形图像、语音、文字数据的处 理应用上取得了优异效果。图像是深度学习最早尝试的应用 领 域。Vincent 等 人 将 CNNs 应 用 在 MNIST 数 据 库 手 写 体 识别中。由于使用局部感受野方法获取观测特征与平移、 缩 放 和 旋 转 无 关，CNNs 在 手 写 体 识 别 的 效 果 极 其 理 想。 Kavukcuoghi 等人采用无监督方法来学习多层稀疏卷积特征， 用于图像识别。与采用线性解码器从稀疏特征中重构图像的 方法不一样的是，这种方法训练了一个有效的前馈编码器， 从输入中预测准稀疏（Quasi Sparse）特征。2012 年 10 月， Hinton 教授以及他的两个学生采用更深的卷积神经网络模型 在著名的 ImageNet 问题上取得了世界最好成果，使得对图 像识别的研究工作前进了一大步 [2]。Hinton 构建的深度神经 网络模型是使用原始的自然图像训练的 , 没有使用任何人工 特征提取方法。在自然语言处理领域，D.Bahdanau 等人在 K.Cho 突出的一种基于循环神经网络的向量化定长表示模型 （RNNenc）的基础上，克服该模型中固定长度的缺点，提 出了 RNNsearch 的模型 [3]。该模型在翻译每个单词时，根据 该单词在源文本中最相关信息的位置以及已翻译出的其他单