机器学习实验报告完整

基于AutoEncoder原理和L_BFGS 优化算法实现手写数字识别

目录

1 神经网络基本概念 (3)

1.1概述 (3)

1.2 神经网络模型 (4)

2 AutoEncoder原理 (5)

2.1 反向传播算法 (5)

2.2 Softmax回归 (7)

2.3 Stacked AutoEncoder (8)

2.4 微调过程 (9)

2.5 Sparse AutoEncoder (9)

2.6 Denoise AutoEncoder (10)

3 L_BFGS算法 (11)

3.1基本原理 (11)

3.2算法流程 (16)

3.3算法收敛性分析： (18)

4 基于AutoEncoder的手写数字识别 (18)

4.1 MNIST数据库 (18)

4.2 模型训练 (19)

4.3 模型测试 (19)

5 实验结果及分析： (19)

5.1 AutoEncoder (20)

5.2 Sparse AutoEncoder (20)

5.3 Denoise AutoEncoder (21)

5.4 实验结果汇总及分析 (22)

6 参考资料 (24)

AutoEncoder 实现手写数字识别

1神经网络基本概念

1.1概述

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络由多个神经元构成，下图就是单个神经元的图1所示：

图1 神经元模型

这个神经元是以123,,x x x 以及截距1+为输入值的运算单元，其输出为

3

,()()()T W b i i i h x f W x f W x b ===+∑，其中函数()f ?被称作“激活函数”。在本次试

验中，我们选用sigmoid 函数作为激活函数()f ?

图2 sigmoid 函数图像

1.2 神经网络模型

神经网络就是将许多个单一的神经元联结在一起，这样，一个神经元的输出就可以是另一个神经元的输入。例如，下图就是一个简单的神经网络：

图3 神经网络示意图

我们用()l i a 第l 层第i 单元的激活值（输出值）。当1l =时，()l i i a x =，也就是第i 个输入值。对于给定的参数集合,W b ，神经网络就可以按照函数,()W b h x 来计算输出结果。以上述模型为例，计算步骤如下:

(2)(1)(1)(1)

(1)11111221331(2)(1)(1)(1)(1)22112222332(2)(1)(1)(1)(1)33113223333(3)(2)(2)(2)(2)(2)(2)(2),11111221331()

()()

()()

W b a f W x W x W x b a f W x W x W x b a f W x W x W x b h x a f W a W a W a b =+++=+++=+++==++

+ (2)

我们用()l i z 表示第第l 层第i 单元输入加权和（包括偏置），这样我们对上式就可以得到一种更加简洁的表示法：

(2)(1)(1)

(2)(2)(3)

(2)(2)

(2)

(3)(3),()()()

W b z W x b a f z z

W a

b

h x a f z =+==+== (3)

上述的计算步骤叫作前向传播。给定第l 层的激活值()l a 后，第1l +层的激活值(1)l a +就可以按照下面步骤计算得到：

(1)()()()(1)

(1)

()

l l l l l l z W a b a

f z

+++=+= (4)

2AutoEncoder 原理

2.1反向传播算法

自编码（AutoEncoder ）神经网络是一种无监督的学习算法，它使用了反向传播算法，让目标值等于输入值，例如输入值为训练样本集合(1)(2)(3){,,}x x x ，则我们的输出值()()i i y x =。下图是一个自编码神经网络的示例：

图4 单隐层神经网络

自编码神经网络的主要参数是连接权重W 和偏置b ，我们尝试利用自编码神经网络学习一个,()W b h x x =，也就是说我们尝试逼近一个恒等函数，从而使得输

出?x

接近于输入x 。假设我们有一个固定样本集(1)(1)()(){(,),,(,)}m m x y x y ，它包含m 个样例。对于单个样例(,)x y ，其代价函数为：

这是一个方差代价函数。给定一个包含m 个样例的数据集，我们可以定义整体代价函数为：

以上公式中的第一项(,)J W b 是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。

我们的目标是针对参数W 和b 来求其函数(,)J W b 的最小值。为了求解神经网络，我们将每一个参数()l ij W 和()l i b 初始化为一个很小的、接近于0的随机数，之后对目标函数求最优解。

梯度下降法中每一次迭代都是按照如下公式对参数W 和b 进行更新：

其中α是学习速率。更新参数W 和b

的关键步骤是计算偏导数。而反向传播算法是计算偏导数的一种有效方法。整体代价函数(,)J W b 的偏导数为：

反向传播算法的思路是：给定一个样例(,)x y ，我们首先进行前向传导算法，得到23,,L L 的激活值，包括输出层l n L 的输出值,()W b h x 。之后，针对第l 层的每一个节点i ，我们计算出其“残差”()l i δ，该残差表明了该节点对最终输出值得误差产证了多少影响。残差的定义如下：

对于1,2,3,,2l l l l n n n =--- 的各个层，第l 层的第i 个节点的残差计算方法如下：

1()()(1)()1()l s l l l l i

ji j i j W f z δ

δ++=??

'= ???

∑ (10)

需要我们计算的偏导数就可以写成下面的形式：

总的来说，利用向量化的表示，反向传播算法可以表示成以下几个步骤： 1. 进行前馈传导计算，利用前向传导公式，得到23,,L L 直至输出层l n L 的激活值。

2. 对于第l n 层（输出层），计算出残差：

()()()()()l

l

l

n n n y a f z δ'=--?

(12)

3. 对于1,2,3,,2l l l l n n n =--- 的各个层

()()()(1)()()()l l T l l W f z δδ+'=?

(13)

4. 计算最终需要的偏导数值：

()()(1)()(1)

(,;,)()(,;,)l l l l T W l b J W b x y a J W b x y δδ

++?=?=

(14)

5. 根据公式（7）更新权重参数：

()()()()()

()

(,;,)(,;,)

l l l l W l l b W W J W b x y b

b J W b x y ?=?+??=?+? (15)

2.2Softmax 回归

Softmax 回归模型是logistic 回归模型在多分类问题上的推广。在logistic 回归中，训练集由m 个已标记的样本构成：{}(1)(1)()()(,),,(,)m m x y x y ，其中输入特征()1i n x +∈?。由于logistic 回归是针对二分类问题的，因此类标记{}()0,1i y ∈。

假设函数如下：

我们的目的就是训练模型参数θ，使其能够最小化代价函数：

而在Softmax 回归中，类标签y 可以取k 个不同的值。因此对于训练集

{}(1)

(1)()()(,),,(,)m m x

y x y ，我们有{}()1,2,,i y k ∈ ，所以假设函数()h x θ形式如下：

其中112,,,n k θθθ+∈? 是模型参数。 Softmax 回归算法的代价函数如下：

其中{}1?是示性函数。

为了限制Softmax 回归在描述对象时候出现过拟合现象，我们加入了权重衰减项

2

1

2

k n

ij i j λ

θ==∑∑来修改代价函数，则整个代价函数变为： 经过这个权重衰减后(0)λ>，代价函数就变成了严格的凸函数，这样就可以保证得到唯一解。此时的Hessian 矩阵变为可逆矩阵，并且因为()J θ是凸函数，L-BFGS 等算法可以保证收敛到全局最优解。

2.3Stacked AutoEncoder

栈式自编码神经网络（Stacked AutoEncoder ）是一个由多层自编码神经网络组成的神经网络，其前一层的自编码神经网络的输出作为厚一层自编码神经网络

的输入。对于一个n 层的栈式自编码神经网络，假定用(,1)(,2)(,1)(,2),,,k k k k W W b b 表示第k 个自编码神经网络的(1)(2)(1)(2),,,W W b b 参数，那么该栈式自编码神经网络的编码过程就是，按照从前向后的顺序徐行每一层自编码神经网络的编码步骤：

()()(1)

(,1)

()(,1)

()l l l l l l a f z z

W

a b

+==+ (22)

一种比较好的获取栈式自编码神经网络参数的方法是采用逐层贪婪训练法进行训练。即利用原始输入来训练网络的第一层，得到其参数(1,1)(1,2)(1,1)(1,2),,,W W b b ；

然后网络的第一层将原始输入转化为由隐层单元激活值组成的向量A ，接着把A 作为第二层的输入，继续训练得到第二层的参数

(2,1)(2,2)(2,1)(2,2),,,W W b b ，最后对后面的各层采用同样的策略训练参数。

2.4微调过程

微调（fine-tuning ）是深度学习中的常用策略，可以大幅提神一个展示自编码神经网络的性能表现。从更高的视角来讲，微调将栈式自编码神经网络的所有层视为一个模型，网络中所有的权重只都可以被优化。

在栈式的自编码神经网络中，微调的实现主要分为以下几个步骤： 1. 对于输出层（l n 层），我们使用的是Softmax 回归分类器，该层的残差为：

()()()()l

l

n l

n n a J f z δ'=-??

(23)

其中()T J I P θ?=-，其中I 为输入数据对应的类别标签，P 为条件概率向量。

2. 对于1,2,3,,2l l l l n n n =--- 的各个层，利用公式（13），（14），（15），（16）计算残差，更新参数。

2.5Sparse AutoEncoder

稀疏自编码神经网络（Sparse AutoEncoder ）的稀疏性可以被解释如下。如果当神经元的输出接近于1的时候我们认为它是被激活的，而输出接近于0的时候认为它是被抑制的，那么是的神经元大部分的时候都是被抑制的限制被称作稀

疏性限制。令(2)()

1?()i j j a x m ρ

??=?

?表示隐层神经元j 的平均活跃度。我们可以加入

一条限制?j ρ

ρ=，其中ρ是一个接近于0的稀疏性参数，也就是说该层的所有隐节点的平均活跃度是ρ，接近于0的。为了实现这一限制，我们在我们的优化目标函数中加入一个额外的惩罚因子，而这一惩罚因子将惩罚那些与ρ相差较大的

?j ρ

的情况，从而使得隐层神经元的平均活跃度保持在较小的范围之内。在本次实验中，我们选择相对熵来做我们惩罚函数，惩罚因子可以表示为：

这一惩罚因子具有如下的性质，当?j ρ

ρ=时，?()j KL ρρ =0，并且随着ρ和?j ρ

。KL 惩罚因子的函数图5所示：

图5 KL 惩罚因子

加入惩罚因子后，总体的代价函数就可以表示为：

2

1

?(,)(,)()s sparse j j J W b J W b KL βρρ

==+∑ (25)

2.6DenoiseAutoEncoder

当采用无监督的方法分层预训练深度网络的权值时，为了学习到较鲁棒的特征，可以在网络的可视层（即数据的输入层）引入随机噪声，这种方法称为DenoiseAutoEncoder （简称dAE 模型）。DenoiseAutoEncoder 的模型如下：

图6 denoiseAutoencoder 原理

由上图可知，样本x 按照qD 分布加入随机噪声后变为x

，在本实验中，我们加入的噪音是对原始数据随机部分清0。dAE 可以直观的解释为：1.dAE 有点类似人体的感官系统，比如人眼看物体时，如果物体某一小部分被遮住了，人依然能够将其识别出来，2.多模态信息输入人体时（比如声音，图像等），少了其中某些模态的信息有时影响也不大。3.普通的autoencoder 的本质是学习一个相等函数，即输入和重构后的输出相等，这种相等函数的表示有个缺点就是当测试样本和训练样本不符合同一分布，即相差较大时，效果不好，明显，dAE 在这方面的处理有所进步。

3 L_BFGS 算法

3.1基本原理

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS 。

L_BFGS 算法是拟牛顿算法中广泛使用的一种优化算法。牛顿算法具有标准形式：121(f(x ))(x )k k k k x x f +-=-??。拟牛顿法是在牛顿法的基础上发展来的。牛顿法的基本思想是在现有极小值点估计值的附近对目标函数进行二阶泰勒展开，进而找到极小点的下一个估计值。因而，牛顿法具有二次收敛性；然而，牛顿法要求海森矩阵为正定阵，同时对海森矩阵的计算也意味着很大的计算代价，包括对海森矩阵求逆的过程。

随后，拟牛顿算法应运而生，拟牛顿法属于梯度法的一种，具有下面形式：

1,(x )k k k k k k k x x d d D f α+=+=-?，其中k D 是正定矩阵。该方法在迭代过程中通过对迭代方向k d 的调整，使其接近牛顿下降方向。它的特点是：收敛速度快，避免牛顿法的二次微分计算。相对于共轭梯度法，它的不足在于，在计算迭代方向k d 的矩阵向量乘法中，需要存储矩阵k D 。并被证明在解决有约束、无约束以

及大规模优化问题上比牛顿法更有效。拟牛顿算法的基本思想是不通过求偏导而直接构造出可近似海森矩阵（或海森矩阵的逆矩阵）的对称正定矩阵，在“拟牛顿条件”下优化目标函数。不同的拟牛顿算法则对应不同的构造海森矩阵或其逆矩阵的方式。

拟牛顿条件：

假定在第k 次迭代后，使用二次模型对目标函数f 在k x 处进行近似，?为求导操作：

1(p)2

T T

k k k k m f f p p B p =+?+

(26) 这里?表示求导，(0)k m 和(0)k m ?分别对应k f 和k f ?。k B 为n*n 对称正定矩阵，并且在每次迭代中会进行更新。

对上式求极值点可得：

1k k k p B f -=-? (27)

那么k p 则视为下一步迭代的搜索方向，在该方向上进行一维线搜索得到步长k α之后，将会确定下一步迭代的1k x +取值：

1k k k k x x p α+=+(28)紧接着，使用相似的方法，在1k x +处对该目标函数使用二次模型进行近似，可以得到：

11111(p)2

T T

k k k k m f f p p B p ++++=+?+

(29) 接下来将建立k x 点处和1+k x 点处的关系，即上式在k x 处和1+k x 处的梯度值应该和目标函数f 一致。因此，可以得到以下的关系：

111()k k k k k k k k m p f B p f αα+++?-=?-=? (30) 整理可得：

11k k k k k f f B p α++?-?= (31) 令1+?-?=k k k f f y ，1+==-k k k k k p s x x α 将得到以下关系式：

1k k k y B s += (32)

这就是割线方程，描述了目标函数自变量偏移量和梯度变化量之间的关系，

也就是拟牛顿算法需要满足的条件。其中1+k B 是对目标函数相应的海森矩阵的近似，假定对海森矩阵的逆矩阵进行近似，则可以得到另一等价的割线方程：

1k k k s D y += (33)

BFGS 算法是通过近似海森矩阵来实现的，同时1+k B 是对称正定矩阵。接下来给出1+k B 的构造方法。

BFGS 算法：

采用直接法进行构造，并定义矩阵1k B +的更新方式：

10=+=I k k k B B B B +?； (34)

为了保证k B 矩阵的对称正定特性，对?k B 按以下方式进行定义：

=T T k B uu vv αβ?+(35) 将上式和割线方程联立可得：

y =s +s s s +(s )(s )T T k k k k k T

T

k k k k B uu vv B u u v v

αβαβ+=+ (36)

括号中表示数值结果，并非向量结果。在这里，假定括号中数值分别是1和-1；之后，确定α和β的数值，可得：

1s 1s 1s 1s s +s s s +y T k T k T k T k

T T k k k k k k k

u u v v B uu vv B u v ααββαβ=?=

-=-?=

+=-= (37) 再令s ,y ==k k k B v u ，并进一步得到α和β的数值：

1y s 1s s T k k T k k k

B αβ=-=

(38)

最终得出了k B 的更新方程：

1s =+s s T T k k k k k k

k k T T

k k k k k

y y B s B B B y s B +-(39) 对上式应用Sherman –Morrison –Woodbury 公式将得到该方程的另一表示：

111111

1()()1()()T T T

k k k k k k k k k k k k T k k

k k T T T

k k k k k k k k k k k B I s y B I y s s s y s B D D I s y D I y s s s ρρρρρρρ--+-+++=--+=

?∴=--+ (40)

以上就是BFGS 算法的海森矩阵（或其逆矩阵）的估计值的更新方程。

L_BFGS 算法：

L-BFGS 算法是在BFGS 算法的基础上得到的，由于原始的BFGS 算法需要保存n*n 的矩阵，该存储量随n 成平方规模增长，为了减少存储量，减小内存开销，适应大规模的优化问题，L_BFGS 算法应运而生。L_BFGS 算法是对BFGS 算法的近似，其核心思想是不再存储完整的n*n 矩阵，而是仅仅保留m 个最近的n 维向量k y 和k s ，这样存储量就由2(n )O 降低至(m*n)O 。与此同时，算法性能也接近原始BFGS 算法（选取合适的m 值，依问题而定）。

紧接着，将给出L_BFGS 算法的具体原理。根据BFGS 算法中1+k D 的更新方程，可以根据公式展开得到1+k D 与0D 的关系，如下：

1100011100011121112112221111(...)(...)(...)(...)(...)(...)...

()()()()1,T T T k k k k k T T T T k k k k T T T T k k k k T T T k k k k k k k T T k k k k k T

k k k T

k k k k k T

k k

D V V V D V V V V V V s s V V V V V V s s V V V V V s s V V V s s V s s V I y s y s ρρρρρρρ+--------------=++++++=

=- (41)

很自然的，考虑L_BFGS 算法，如果k<=m-1，那么用来计算1+k D 的公式成立，无需修改；如果k>m-1（即k>=m ）时，仅仅保留最近的m 个向量k y 和m

个向量k s ，则用来计算1+k D 的公式变为：

1110111211121132223112221(...)(...)

(...)(...)(...)(...)...

()()()T T T k k k k m k m k k T T T T k k k m k m k m k m k m k k T T T T k k k m k m k m k m k m k k T T T k k k k k k k T k D V V V D V V V V V V s s V V V V V V s s V V V V V s s V V V ρρρ+--+-+---+-+-+-+-+---+-+-+-+-+------=+++++111()T k k k k T

k k k s s V s s ρρ---+ (42)

那么可以将上述两种情况进行综合，令min{1,}x m k =-，则有：

1101111112111211222111(...)(...)(...)(...)(...)(...)...

()()()T T T k k k k x k x k k T T T T k k k x k x k x k x k x k k T T T T k k k x k x k x k x k x k k T T T k k k k k k k T k k k k D V V V D V V V V V V s s V V V V V V s s V V V V V s s V V V s s ρρρρ+------+----+---+-+-+-+-+--------=+++++1()T k T

k k k V s s ρ-+ (43)

在每步迭代中得到k D 后，在k x 处建立相应的二次模型，根据极值点条件：

k k k p D f =-? (44)

k p 将成为k x 处下一步进行搜索的方向，根据Jorge Nocedal Stephen J. Wright 《NumericalOptimization 》书中的介绍，这里给出一个计算1+?k k D f 的高效的算法：

0_1,..., (1)

()

k

T i i i i i

T i i i i Algorithm

L BFGS two loop recursion

q f for i k k m

s q q q y end for r D q

for i k m k y r

r r s end for return

r

αραβραβ--←?=--←←--←=--←←+--

3.2算法流程

以上给出了L_BFGS 算法的原理和算法流程，这部分将给出在具体优化过程中该算法的应用。通常，需要将L_BFGS 算法和线搜索方向配合起来使用，以达到不错的效果，其收敛性也能得到一定的保证。L-BFGS 可以被用来求解大型的无约束优化问题（Machine Learning 中的很多问题都可以用其求解，如Logistic Regress 等）。

这里首先给出一种广泛使用的非精确一维线搜索算法---Wolfe 非精确线搜索。非精确线搜索算法是指对目标函数来说，给出在x 点处沿着下降方向d 的步长值，使在x d α+处的函数值相比x 处的函数值有一定的下降。而不同的非精确一维线搜索算法通过构造不同的测试条件来达到使函数值取得一定下降的目的，本文仅给出满足（强）Wolfe 条件的一维非精确线搜索算法。

下面给出满足Wolfe 条件的可接受步长区间的图：

图7 Wolfe 条件的可接受步长区间的图

（1）1()()T k k k k k k k f x p f x c f p αα+≤+? (45) （2）2()T T k k k k k k f x p p c f p α?+≥? (46)

强Wolfe 条件：（2）2(())0T T k k k k k k abs f x p p c f p α?++?≤ (47) 这里条件1用来使x k k k p α+处的函数值有一定的下降值，条件2用来限定

x k k k p α+处的斜率应大于x k 处斜率的2c 倍；而强Wolfe 条件（2）的进一步限定了x k k k p α+处斜率值，使可接受步长落在某个波谷中。

当然，在该算法具体的实现中，仅仅有这些是不够的，当每次迭代步长落在不满足（强）Wolfe 条件的地方，需要使用插值算法给出新的步长值，这样才能够达到满意的结果。

下面给出Wolfe 非精确一维线搜索算法的流程：

1212_:

,, 1.04,0.9

_0(),_0()aL 0,aU 1.08,0:

(*),(*)1(*)_0*_0*2*_T T Algorithm Wolfe search initialize x d c E c old gtd g x d old f f x E step k calculate f f x step d gtd g x step d d

Wolfe f x step d old f c old gtd step Wolfe c old gtd =-=======+=+=+--=20(*)(2*_0((*))):

(10)

(20)

;:T T g x step d d or

Wolfe c old gtd abs g x step d d judge if Wolfe if Wolfe break else

aL step aU aU

outside insert for step

endif aL aL aU step inner insert for step

endif goto calculate return step

-+=++≤≤←←-←←-

现在已经介绍了线搜索以及L_BFGS 算法的相关内容。下面给出整体算法流程，用来实现实际的最优化问题。

01:,(),0:

(_max)(())

;(0)

()__*1k k k k

k

k k k k k

initialize x f x k loop while k k if g x epsilon break if k d g x else get d via Algorithm L BFGS end get

via

Algorithm

Wolfe search

x x d k k end while return

x αα+=<<===-=+=+-

3.3算法收敛性分析：

根据割线方程，1+k D 和1+k B 应为对称正定矩阵，这在0>T k k y s 时成立。当目标函数为凸函数，0>T k k y s 成立；然而对非凸函数来说，该不等式不一定成立，但是，如果线搜索算法满足Wolfe 或强Wolfe 条件，0>T k k y s 将成立。此外，线搜索算法中初始步长的选择也尤为重要。

4基于AutoEncoder 的手写数字识别

4.1MNIST 数据库

MNIST 数据集是由Google 实验室的Corinna Cortes 和纽约大学柯朗研究所的Yann LeCun 建有一个手写数字数据库，训练库有60,000张手写数字图像，测试库有10,000张。每一个手写数字大小为2828?像素。部分手写数字如下图所示：

图8 部分样本

4.2 模型训练

在本次实验中，我们将2828?像素的手写数字变换成1784?的列数据作为我们模型的输入x 。训练数据个数为60000组。训练目标为得到第一层自编码神经网络的11,W b ，第二层自编码神经网络的22,W b ，以此类推。Softmax 回归的参数θ。具体操作步骤见第二章。

4.3 模型测试

我们使用MNIST 数据集中提供的10000组数据对我们训练的模型进行准确度测试。

模型准确率=（分对样本数）/（总样本数）。

5实验结果及分析：

对于只有一个隐层的Autoencoder 的权重可视化，以及准确率，如5.1到5.3所示。总的实验结果和参数详见表1.

5.1 AutoEncoder

这是最原始的Autoencoder，在训练时没有引入稀疏项和白噪声。这个Autonecoder只有一个隐层。图9所示是该隐层的权值。隐层节点一共有196个。训练的具体参数可查后面的表1.

准确度：0.915

W可视化：

图9 Autoencoder权值可视化

结果分析：

从图中可以依稀的看出数字0到9，这是由于这是Autoencoder的第一层。Autoencoder虽然是神经网络。但是可以看成是线性的模型，又由于这是第一层的权值（总共也就一层），所以对数据的抽象程度不高，所以从权值中基本上能够看出0到9的数字。这一点在稀疏Autoencoder中表现的更加明显。

5.2 Sparse AutoEncoder

Sparse Autoencoder在Autoencoder的基础上引入了稀疏项，起到压缩信息的作用。具体说就是将输入数据用尽量少的神经节点来表示。这样就会尽量的保留