机器学习-深度学习

机器学习

第11章深度学习

?深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型，可自动地从训练集提取特征，解决了手工特征考虑不周的问题，而且初始化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很好的效果。本章主要介绍了深度学习相关的概念和主流框架，重点介绍卷积神经网络和循环神经网络的结构以及常见应用。

?卷积神经网络

–卷积神经网络的结构

–常见卷积神经网络?循环神经网络

–RNN基本原理

–长短期记忆网络

–门限循环单元?深度学习流行框架

卷积神经网络

?卷积神经网络是人工神经网络的一种，由对猫的视觉皮层的研究发展而来，视觉皮层细胞对视觉子空间更敏感，通过子空间的平铺扫描实现对整个视觉空间的感知。卷积神经网络目前是深度学习领域的热点，尤其是图像识别和模式分类方面，优势在于具有共享权值的网络结构和局部感知（也称为稀疏连接）的特点，能够降低神经网络的运算复杂度，因为减少了权值的数量，并可以直接将图像作为输入进行特征提取，避免了对图像的预处理和显示的特征提取。

议程

卷积神经网络的结构

?卷积神经网络是一种稀疏的网络结构，理解其中不同结构的作用和原理有助于设计符合实际的深层网络结构。卷积层和子采样层是特征提取功能的核心模块，卷积神经网络的低层由卷积层和子采样层交替组成，在保持特征不变的情况下减少维度空间和计算时间，更高层次是全连接层，输入是由卷积层和子采样层提取到的特征，最后一层是输出层，可以是一个分类器，采用逻辑回归、Softmax回归、支持向量机等进行模式分类，也可以直接输出某一结果。

?通过卷积层的运算，可以将输入信号在某一特征上加强，从而实现特征的提取，也可以排除干扰因素，从而降低特征的噪声。

议程

权重初始化

?用小的随机数据来初始化权重，以打破不同单元间的对称性。当使用Sigmoid激励函数时，如果权重初始化较大或较小时，训练过程容易出现梯度饱和和梯度消失的问题，可以采用Xavier初始化来解。这里Xavier初始化是在线性函数上推导得来的，它能够保持输出在很多层之后依然有良好的分布，在tanh激活函数上表现较好。此外，可以应用Batch Normalization Layer来初始化权重，其思想就是在线性变化和非线性激活函数之间，将数值做一次高斯归一化和线性变化。内存管理是在字节级别上进行的，所以把参数值设为2的幂比较合适。

?池化层是一种向下采样的形式，在神经网络中也称之为子采样层。一般使用最大池化将特征区域中的最大值作为新的抽象区域的值，减少数据的空间大小。参数数量和运算量也会减少，减少全连接的数量和复杂度，一定程度上可以避免过拟合。池化的结果是特征减少、参数减少。池化常用的操作有三种：平均池化、最大化池化以及随机池化三种。

?平均池化对特征点只求平均，能够减少邻域大小受限造成的估计值方差增大的误差。更多的保留图像的背景信息，平均池化的过程如下图所示。

?最大化池化对特征点取最大值，能够减小卷积层参数误差造成估计均值的偏移的误差，更多的保留图像的纹理信息，最大化池化的过程如下图所示。

?随机池化介于平均池化和最大化池化之间，通过对像素点按照数值大小赋予概率，再按照概率进行采样。在平均意义上与平均池化近似，在局部意义上则服从最大化池化的准则。

?全局平均池化是将某一通道的所有特征求和后取平均值，形成一个新的特征值，可用于替代最后的全连接层，用全局平均池化层（将图片尺寸变为1X1）来取代之。可以避免网络层数较深时引起的过拟合问题。过程如下图所示。

?空间金字塔池化可以把任何尺度的图像的卷积特征转化成相同维度，这不仅可以让CNN处理任意尺度的图像，还能避免图片裁剪和变形操作，导致信息丢失，具有非常重要的意义。一般的CNN都要求输入图像的大小是固定的，这是因为全连接层的输入需要固定输入维度，但卷积操作没有对图像尺寸进行限制，所有空间金字塔池化对图像进行卷积，然后转化成维度相同的特征输入到全连接层，这样就可以把CNN扩展到任意大小的图像，使CNN模型更加灵活。

?卷积层得到的每张特征图表示输入信号的一种特征，而它的层数越高表示这一特征越抽象，为了综合低层的每个卷积层特征，用全连接层将这些特征结合到一起，然后用Softmax进行分类或逻辑回归分析。

?输出层的另一项任务是进行反向传播，依次向后进行梯度传递，计算相应的损失函数，并重新更新权重值。在训练过程中可以采用Dropout来避免训练过程产生过拟合。输出层的结构与传统神经网络相似，是基于上一全连接层的结果进行类别判别。

议程

常见卷积神经网络

?卷积神经网络发展至今，有大量CNN网络结构被公开，如：

–LeNet

–AlexNet

–GoogleNet

–VGGNet

–Deep Residual Learning

?LeNet是较早出现的卷积神经网络，其网络结构如下图所示。

?LeNet输入图像大小为32X32，C1、C3、C5是卷积层，卷积核在二维平面上平移，并且卷积核的不断移动提取出新的图像，这个图像完全由卷积核在各个位置时的乘积求和的结果组成。池化层有两个，分别是S2和S4，池化过程一方面可以降低模型的过拟合程度，因为减弱了某些不显著的噪声特征，另一方面可以强化图像中的显著特征。S2层是6个14X14的特征映射，其中每一个单元与前一层的2X2领域相连接。全连接层的结构与传统多层感知器相似，共有84个神经元，这些神经元与C5层全连接。输出是10个类别，每个类别一个神经元，表示数字其属于0-9的概率，每类一个欧式径向基函数单元组成，共有84个输入，输出单元计算输入向量和参数向量之间的欧式距离，距离越远RBF输出越大，损失函数结果越大。

?AlexNet是最早的现代神经网络，AlexNet证明了CNN在复杂模型下的有效性，使用GPU使得训练在可接受的时间范围内得到结果，推动了有监督深度学习的发展。下图是AlexNet网络结构图。