深度学习系列(5)：长短时记忆网络(LSTM)

循环神经⽹网络（RNN ）在实际应⽤用中很难处理理⻓长距离依赖的问题。

有的时候，我们仅仅需要知道先前的信息来完成预测任务。

例例如，我们有⼀一个语⾔言模型⽤用来基于先前的词来预测下⼀一个词，⽐比如我们预测“the clouds are in the sky”最后的词的时候，我们不不需要任何其他的上下⽂文，很显然下⼀一个词就是sky 。

在这种情况下，相关的信息与需要预测的词位置之间的间隔很⼩小，⽽而RNN 可以学会使⽤用较近距离的信息。

但是到了了⼀一个更更加复杂的场景，假设我们试着预测“I grew up in France......I speak fluent French”中最后的词，从这句句话的信息来看，下⼀一个词很有可能是⼀一种语⾔言的名字，但具体到是哪种语⾔言，我们就需要在与之距离较远的“I grew up in France”中得到。

这说明相关信息与当前预测位置之间的间隔就肯定变得相当的⼤大。

不不幸的是，在这个间隔不不断增⼤大时，RNN 会丧失学习到连接如此远的信息的能⼒力力。

深度学习系列列（5）：⻓长短时记忆⽹网络（LSTM ）⼀一、⻓长期依赖问题（Long-Term Dependencies ）当然，在理理论上，RNN绝对可以处理理这样的⻓长期依赖问题。

⼈人们可以通过调参来解决，但是在实践中，RNN肯定不不能够成功学习到这些知识。

Bengio, et al. (1994)等⼈人对该问题进⾏行行了了深⼊入的研究，它们发现⼀一些使训练RNN变得⾮非常困难的相当根本的原因。

既然找到了了问题的原因，那我们就能解决它。

从问题的定位到解决，科学家们⼤大概花了了7、8年年的时间。

终于有⼀一天，Hochreiter和Schmidhuber两位科学家发明出⻓长短时记忆⽹网络，⼀一举解决了了这个问题。

⼆二、LSTM的核⼼心思想Long Short Term⽹网络，⼀一般就叫做LSTM，是⼀一种特殊的RNN变体，它可以学习⻓长期依赖信息。

LSTM由Hochreiter和Schmidhuber在1997年年提出，并在近期被Alex Graves进⾏行行了了改良和推⼴广。

在很多问题上，LSTM都取得了了相当巨⼤大的成功，并得到了了⼴广泛的使⽤用。

LSTM通过刻意的设计来避免⻓长期依赖问题。

记住⻓长期的信息在实践中是LSTM的默认属性，⽽而⾮非需要付出很⼤大的代价才能获得的能⼒力力！所有的RNN都具有⼀一种重复神经⽹网络模块的链式的形式。

在标准的RNN中，这个重复的模块只有⼀一个⾮非常简单的结构，例例如⼀一个tanh层。

LSTM同样是这样的结构，但是其中重复的模块拥有⼀一个不不同的结构。

不不同于单⼀一神经⽹网络层，这⾥里里有四个以⾮非常特殊的⽅方式进⾏行行交互的⼩小器器件。

图中每⼀一条⿊黑线传输着⼀一整个向量量，从⼀一个节点的输出到其他节点的输⼊入。

粉⾊色的圈代表pointwise的操作，⽐比如向量量的和，⽽而⻩黄⾊色的矩阵就是学习到的神经⽹网络层。

LSTM的关键在于细胞（Cell），⽔水平线在细胞内贯穿运⾏行行。

细胞类似于传送带。

直接在整个链上运⾏行行，只有⼀一些少量量的线性交互。

信息在⽔水平线上很容易易保持不不变。

LSTM通过精⼼心设计“⻔门”结构来去除或者增加信息到Cell上。

⻔门是⼀一种让信息选择式通过的⽅方法（过滤器器）。

它们包含⼀一个sigmoid神经⽹网络层和⼀一个pointwise乘法操作。

Sigmoid层输出0到1之间的数值，描述每个部分有多少量量可以通过。

0代表“不不许任何量量通过”，1就指“允许任意量量通过”LSTM ⽤用两个⻔门来控制单元状态Cell 的内容，⼀一个是遗忘⻔门（forget gate ），它决定了了上⼀一时刻的单元状态有多少保留留到当前时刻；另⼀一个是输⼊入⻔门（input gate ），他决定了了当前时刻⽹网络的输⼊入有多少保存到单元状态。

LSTM ⽤用输出⻔门（output gate ）来控制单元状态有多少输出到LSTM 的当前输出值。

我们先看⼀一下遗忘⻔门：上式中，是遗忘⻔门的权重矩阵，表示把两个向量量连接成⼀一个更更⻓长的向量量，是遗忘⻔门的偏置项，是sigmoid 函数。

若输⼊入的维度是，隐藏层的维度是，单元状态的维度是（通常），则遗忘⻔门的权重矩阵维度是。

事实上，权重矩阵都是两个矩阵拼接⽽而成的：⼀一个是，它对应着输⼊入项，其维度为；⼀一个是，它对应着输⼊入项，其维度为。

可以写为：所以总结⼀一下，遗忘⻔门的作⽤用为控制有多少上⼀一时刻的memory cell 中的信息可以累积到当前时刻的memory cell 中。

其数学公式可以写作：其计算图示如下：三、LSTM 的前向计算−1c t c t x t c t c t h t 3.1 遗忘⻔门=σ(·[]+)f t W f h t −1,x t b f W f [,]h t −1x t b f σd x d h d c =d c d h W f ×(+)d c d h d x W f W fh h t −1×d c d h W fx x t ×d c d x W f [][]=[][]=·+W f h t −1x t W fh W fx h t −1x t W fh h t −1W fx x t =sigmoid (·+·+)f t W fx x t W fh h t −1b i接下来看输⼊入⻔门：上式中，是输⼊入们的权重矩阵，是输⼊入⻔门的偏置项。

下图表示了了输⼊入⻔门的计算：接下来，我们计算⽤用于描述当前输⼊入的单元状态，它是根据上⼀一次的输出和本次输⼊入来计算的：3.2 输⼊入⻔门=σ(·[,]+)i t W i h t −1x t b i W i b i c t下图是的计算：现在，我们计算当前时刻的单元状态。

它是由上⼀一次的单元状态按元素乘以遗忘⻔门，再⽤用当前输⼊入的单元状态按元素乘以输⼊入⻔门，再将两个积加和产⽣生的：下图是的计算图示：这样，我们就把LSTM 关于当前的记忆和⻓长期的记忆组合在⼀一起，形成了了新的单元状态。

由于遗忘⻔门的控制，它可以保存很久很久之前的信息，由于输⼊入⻔门的控制，它⼜又可以避免当前⽆无关紧要的内容进⼊入记忆。

=tan h (·[,]+)c t W c h t −1x t b c c tc t c t −1f t c ti t =°+°c t f t c t −1i t ct c t c tc t −1c t下⾯面，我们要看看输⼊入们，它控制了了⻓长期记忆对当前输出的影响：下图表示输出⻔门的计算：LSTM 最终的输出，是由输出⻔门和单元状态共同确定的：下图表示LSTM 最终输出的计算：3.3 输出⻔门=σ(·[,]+)o t W o h t −1x t b o =°tan h ()h t o t c t当作⽤用于两个矩阵时，两个矩阵对应位置的元素相乘。

按元素乘可以再某些情况下简化矩阵和向量量的运算。

例例如，当⼀一个对⻆角矩阵右乘⼀一个矩阵时，相当于⽤用对⻆角矩阵的对⻆角线组成的向量量按元素乘那个矩阵：当⼀一个⾏行行向量量右乘⼀一个对⻆角矩阵时，相当于这个⾏行行向量量按元素乘那个矩阵对⻆角线组成的向量量：上⾯面这俩点，在后续推导中会多次⽤用到。

在t 时刻，LSTM 的输出值为。

我们定义t 时刻的误差项为：注意，这⾥里里假设误差项是损失函数对输出值的导数，⽽而不不是对加权输⼊入的导数。

因为LSTM 有四个加权输⼊入，分别对应，我们希望往上⼀一层传递⼀一个误差项⽽而不不是四个。

但我们仍然要定义出这四个加权输⼊入，以及他们对应的误差项。

a °X =°=⎡⎣⎢⎢⎢⎢a 1a 2···a n ⎤⎦⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢x 11x 21···x n 1x 12x 22···x n 2············x 1n x 2n ···x nn ⎤⎦⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢a 1x 11a 2x 21···a n x n 1a 1x 12a 2x 22···a n x n 2············a 1n x 1n a 2x 2n ···a n x nn ⎤⎦⎥⎥⎥⎥o diag [a ]·X =a °X ·diag [b ]=a °ba T h t δt =δt ∂E ∂h tnet l 、、、f t i t c t o t $ne =[,]+=++t f ,t W f h t −1x t b f W fh h t −1W fx x t b fne =[,]+=++t i ,t W i h t −1x t b i W ih h t −1W ix x t b ine =[,]+=++t ,t c W c h t −1x t b c W ch h t −1W cx x t b cne =[,]+=++t o ,t W o h t −1x t b o W oh h t −1W ox x t b o=δf ,t ∂E ∂net f ,t=δi ,t ∂E ∂net i ,t=δ,t c ∂E ∂net c ,t,t∂EGRU 的前向计算公式为：下图是GRU的示意图：GRU 的训练算法⽐比LSTM 相对也要简单⼀一些当然还有很多其他的变体，如 Gers & Schmidhuber (2000) 提出的LSTM 变体增加了了“peephole connection”；另⼀一种变体使⽤用coupled 遗忘和输⼊入⻔门对遗忘和需要的信息⼀一同做出决定。

Yao, e t al. (2015) 提出的Depth Gated RNN 。

还有⽤用⼀一些完全不不同的观点来解决⻓长期依赖的问题，如Ko utnik, et al. (2014) 提出的Clockwork RNN 。

但Gre ff, et al. (2015)给出了了流⾏行行变体的⽐比较，结论是它们基本上是⼀一样的。

Jozefowicz, et al. (2015) 则在超过⼀一万种RNN 架构上进⾏行行了了测试，发现⼀一些架构在某些任务上也取得了了⽐比LSTM 更更好的结果。