(18)循环神经网络与LSTM
lstm在医学中的应用
lstm在医学中的应用
3. 医疗数据处理：LSTM可以用于处理医疗数据，如电子病历、医学文本和实时监测数据 。通过对这些数据进行建模和分析，LSTM可以提取有用的信息，帮助医生做出更准确的诊 断和治疗决策。
5. 健康监测和预警：LSTM可以用于健康监测和预警系统的开发。通过对患者的生理参数 、运动数据和环境信息进行实时分析，LSTM可以检测异常情况并发出预警，帮助人们及时 采取措施，预防疾病的发生。
总之，LSTM在医学领域中的应用非常广泛，涵盖了疾病预测和诊断、医学图像分析、医 疗数据处理、药物研发和个体化治疗，以及健康监测和预警等方面。这些应用有助于提高医 疗诊断的准确性和效率，促进个体化医疗的发展，改善人们的健康状况。
4. 药物研发和个体化治疗：LSTM可以用于药物研发和个体化治疗。通过对大量的药物分 子结构和作用机制进行学习，LSTM可以预测新药物的活性和副作用，加速药物研发过程。 此外，LSTM还可以根据患者的基因组数据和临床特征，预测患者对特定药物的反应和副作 用，从而实现个体化治疗。
lstm在医学中的应用
lstm在医学中的应用
LSTM（长短期记忆网络）是一种循环神经网络（RNN）的变体，它在医学领域中有广泛 的应用。以下是一些LSTM在医学中的应用的预测和诊断。通过对患者的医学记录、生理参 数和病历数据进行训练，LSTM可以学习到模式和趋势，并预测患者是否可能患上某种疾病 ，如心脏病、癌症等。
了解循环神经网络(RNN)中的LSTM和GRU
了解循环神经网络（RNN）中的LSTM和GRU循环神经网络（Recurrent Neural Network，简称RNN）是一种常用的神经网络模型，用于处理序列数据，在自然语言处理、语音识别、机器翻译等领域取得了很好的效果。
LSTM（Long Short-Term Memory）和GRU（Gated Recurrent Unit）是RNN中常用的两种变体，它们通过引入门控机制解决了传统RNN面临的“梯度消失”和“梯度爆炸”问题，提高了模型的性能和效果。
一、LSTM（Long Short-Term Memory）LSTM是由Hochreiter和Schmidhuber于1997年提出的一种循环神经网络结构，可以用于处理长期依赖关系。
它通过三个门控单元（输入门、遗忘门、输出门）来控制信息的流动，有效地避免了梯度消失和梯度爆炸问题。
1. 输入门（Input Gate）：控制输入记忆细胞的更新程度。
2. 遗忘门（Forget Gate）：控制记忆细胞中的信息保留和遗忘。
3. 输出门（Output Gate）：控制输出的计算和激活。
LSTM网络中，记忆细胞（Cell State）起到了承载和传递信息的作用，通过门控机制可以有效地决定信息的流动，使得网络可以灵活地记住和遗忘信息，具备更强的长依赖关系建模能力。
LSTM的模型参数较多，计算复杂度较高，但在处理长序列数据和需要长期记忆的场景下表现出色。
二、GRU（Gated Recurrent Unit）GRU是由Cho等人于2014年提出的一种变种循环神经网络结构，相比LSTM简化了门控单元的结构，并取得了近似的性能。
GRU中只有两个门（重置门、更新门），分别用于控制更新和重置操作。
重置门决定了当前时刻是否可以忽略过去的信息，而更新门则控制了新信息的加入程度。
GRU在参数数量上较LSTM更少，计算效率更高。
三、LSTM与GRU的对比LSTM和GRU在很多应用场景中都表现出良好的性能，但二者在某些方面有所不同。
《深度学习原理与应用》题集
《深度学习原理与应用》题集一、选择题（每题2分，共20分）1.深度学习是机器学习的一个分支，它主要利用哪种模型来学习数据的表示？A. 线性模型B. 决策树模型C. 神经网络模型D. 支持向量机模型2.在深度学习中，下列哪一项不是常用的激活函数？A. Sigmoid函数B. Tanh函数C. ReLU函数D. 线性函数3.深度学习中，批归一化（Batch Normalization）的主要作用是什么？A. 加速训练过程B. 防止过拟合C. 提高模型准确率D. 减少计算量4.下列哪一项不是深度学习中的优化算法？A. 随机梯度下降（SGD）B. AdamC. 牛顿法D. RMSprop5.在卷积神经网络（CNN）中，卷积层的主要作用是什么？A. 特征提取B. 池化降维C. 全连接分类D. 数据归一化6.下列哪一项不是循环神经网络（RNN）的常见变体？A. 长短期记忆网络（LSTM）B. 门控循环单元（GRU）C. 卷积神经网络（CNN）D. 双向循环神经网络（Bi-RNN）7.在深度学习中，下列哪一项技术常用于处理序列数据？A. 卷积神经网络（CNN）B. 循环神经网络（RNN）C. 支持向量机（SVM）D. 决策树（DT）8.生成对抗网络（GAN）由哪两部分组成？A. 生成器和判别器B. 卷积层和池化层C. 输入层和输出层D. 编码器和解码器9.在深度学习中，下列哪一项不是防止过拟合的方法？A. 数据增强B. DropoutC. 增加模型复杂度D. 正则化10.下列哪一项不是深度学习在自然语言处理（NLP）中的常见应用？A. 文本分类B. 机器翻译C. 语音识别D. 图像识别二、填空题（每空2分，共20分）1.深度学习中的“深度”指的是_________的层数。
2.在神经网络中，权重初始化的一种常用方法是_________初始化。
3.梯度消失和梯度爆炸是深度学习训练过程中常见的问题，它们主要与_________有关。
卷积神经网络与循环神经网络
卷积神经网络与循环神经网络卷积神经网络（Convolutional Neural Network，CNN）和循环神经网络（Recurrent Neural Network，RNN）是目前深度学习领域最为流行的两种神经网络架构。
它们分别适用于不同的数据类型和任务，能够有效地处理图像、语音、文本等各种形式的数据。
一、卷积神经网络卷积神经网络是一种专门用于处理格状数据（如图像）的神经网络模型。
它的核心思想是利用卷积操作对输入数据进行特征提取，然后通过池化操作减小特征图的尺寸，最后将提取到的特征输入全连接层进行分类或回归。
卷积神经网络的结构主要包括卷积层、池化层和全连接层。
1.1卷积层卷积层是卷积神经网络的核心组件，它通过卷积操作对输入数据进行特征提取。
卷积操作是指使用一个滤波器（也称为卷积核）在输入数据上进行滑动计算，得到对应位置的输出。
滤波器的参数是在训练过程中通过反向传播算法学习得到的。
在图像处理中，卷积操作可以帮助提取图像中的边缘、纹理、角点等特征。
卷积层一般会使用多个不同的滤波器，从而提取多个不同的特征。
1.2池化层池化层是利用池化操作对卷积层的输出进行降采样，从而减小特征图的尺寸。
常见的池化操作有最大池化和平均池化。
最大池化是保留每个区域内的最大值作为输出，平均池化是计算每个区域内的平均值作为输出。
池化操作的目的是减少计算复杂度和减小过拟合。
1.3全连接层全连接层是卷积神经网络的最后一层，它将池化层的输出作为输入进行分类或回归。
全连接层的每个神经元都与上一层的所有神经元相连，输出一个标量值。
全连接层通常使用一种称为softmax的函数将输出转化为概率分布，再根据不同任务进行相应的损失函数计算和优化。
卷积神经网络通过共享权重和局部感知野的设计，大大减少了模型参数的数量，同时也能够保留输入数据的局部结构特征。
这使得卷积神经网络在图像识别、目标检测、语义分割等计算机视觉任务中取得了很大的成功。
二、循环神经网络循环神经网络是一种专门用于处理序列数据（如语音、文本）的神经网络模型。
神经网络算法在深度学习中的应用
神经网络算法在深度学习中的应用神经网络算法在深度学习中有广泛的应用。
深度学习是一种模仿人类神经系统的机器学习技术，它通过多层神经网络模型来自动学习和提取输入数据的特征，并根据这些特征进行预测和决策。
下面将介绍神经网络算法在深度学习中的一些主要应用。
图像识别和分类：深度学习在图像识别和分类方面取得了巨大的成功。
神经网络算法能够自动从大量的图像数据中学习到特征，然后通过学习到的特征对图像进行分类和识别。
例如，卷积神经网络（CNN）是一种特别适用于图像识别的神经网络算法，它通过多层卷积和池化操作对图像进行特征提取。
在图像识别竞赛中，使用神经网络算法的深度学习模型已经超越了人类在一些图像分类任务上的表现。
语音识别：深度学习在语音识别领域也取得了重大突破。
通过神经网络算法，深度学习模型可以自动地从大量的语音数据中学习到声音和语音的特征，并将其与相应的文本进行匹配。
DeepSpeech是一个基于神经网络算法的开源语音识别系统，它已经成功地应用于实时语音转写和交互式语音应用。
自然语言处理：深度学习在自然语言处理领域也有广泛应用。
神经网络算法可以自动地从大量的文本数据中学习到语言的特征和含义，然后可以用于文本分类、情感分析、机器翻译等任务。
循环神经网络（RNN）和长短时记忆网络（LSTM）是两种常用的神经网络算法，在处理序列数据和自然语言处理任务方面表现出色。
推荐系统：深度学习在个性化推荐系统中也有重要的应用。
通过神经网络算法，深度学习模型可以从大量的用户和商品数据中学习到用户的喜好和商品的特征，并根据这些信息进行个性化的推荐。
深度学习能够从隐含的模式和关联中挖掘出更准确的用户兴趣和行为模式，从而提升推荐系统的效果。
医学图像分析：深度学习在医学图像分析领域也有重要的应用。
通过神经网络算法，深度学习模型可以自动地从医学图像中学习到病变的特征和特征之间的关联，并进行疾病的诊断和预测。
例如，在乳腺癌检测中，使用神经网络算法的深度学习模型可以自动地从乳腺X光和乳腺超声图像中学习到乳腺癌的特征，并进行癌症的诊断。
神经网络长短期记忆(LSTM)简介
0. 从RNN说起循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。
相比一般的神经网络来说，他能够处理序列变化的数据。
比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。
1. 普通RNN先简单介绍一下一般的RNN。
其主要形式如下图所示：这里：x为当前状态下数据的输入，h表示接收到的上一个节点的输入。
y为当前节点状态下的输出，而h/为传递到下一个节点的输出。
通过上图的公式可以看到，输出h'与x和h的值都相关。
而y则常常使用h'投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。
对这里的y如何通过h'计算得到往往看具体模型的使用方式。
通过序列形式的输入，我们能够得到如下形式的RNN。
2. LSTM2.1 什么是LSTM长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。
简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。
LSTM结构（图右）和普通RNN的主要输入输出区别如下所示。
相比RNN只有一个传递状态h t，LSTM有两个传输状态，一个c t（cell state），和一个h t（hidden state）。
（Tips：RNN中的h t对于LSTM中的c t）其中对于传递下去的c t改变得很慢，通常输出的c t是上一个状态传过来的c t-1加上一些数值。
而h t则在不同节点下往往会有很大的区别。
2.2 深入LSTM结构下面具体对LSTM的内部结构来进行剖析。
首先使用LSTM的当前输入x t和上一个状态传递下来的h t-1拼接训练得到四个状态。
其中，z f，z i，z o是由拼接向量乘以权重矩阵之后，再通过一个sigmoid激活函数转换成0到1之间的数值，来作为一种门控状态。
ai工程师面试常见的100道题
ai工程师面试常见的100道题1. 请解释什么是人工智能（AI）？2. 请列举一些常见的人工智能应用领域。
3. 请解释机器学习和深度学习之间的区别。
4. 请解释监督学习和无监督学习之间的区别。
5. 请解释什么是神经网络，以及它是如何工作的？6. 请解释什么是反向传播算法。
7. 请解释什么是激活函数，以及它们的作用是什么？8. 请解释什么是损失函数，以及它的作用是什么？9. 请解释什么是梯度下降法，以及它是如何工作的？10. 请解释什么是过拟合和欠拟合，以及如何解决这些问题？11. 请解释什么是正则化，以及它在防止过拟合中的作用。
12. 请解释什么是L1和L2正则化。
13. 请解释什么是逻辑回归，以及它是如何工作的？14. 请解释什么是支持向量机（SVM），以及它是如何工作的？15. 请解释什么是决策树，以及它是如何工作的？16. 请解释什么是随机森林，以及它是如何工作的？17. 请解释什么是K-均值聚类，以及它是如何工作的？18. 请解释什么是主成分分析（PCA），以及它是如何工作的？19. 请解释什么是卷积神经网络（CNN），以及它是如何工作的？20. 请解释什么是循环神经网络（RNN），以及它是如何工作的？21. 请解释什么是长短时记忆网络（LSTM），以及它是如何工作的？22. 请解释什么是生成对抗网络（GAN），以及它是如何工作的？23. 请解释什么是强化学习，以及它是如何工作的？24. 请解释什么是Q-learning，以及它是如何工作的？25. 请解释什么是蒙特卡洛树搜索（MCTS）。
26. 请解释什么是迁移学习，以及它在人工智能中的应用。
27. 请解释什么是自然语言处理（NLP），以及它在人工智能中的应用。
28. 请解释什么是计算机视觉，以及它在人工智能中的应用。
29. 请解释什么是语音识别，以及它在人工智能中的应用。
30. 请解释什么是推荐系统，以及它在人工智能中的应用。
31. 请解释什么是聊天机器人，以及它在人工智能中的应用。
人工智能与机器学习考试
人工智能与机器学习考试（答案见尾页）一、选择题1. 人工智能的主要研究内容包括哪些？A. 计算机视觉B. 自然语言处理C. 语音识别D. 专家系统2. 机器学习中常用的算法有哪些？A. 决策树B. 支持向量机（SVM）C. 随机森林D. 神经网络3. 人工智能的目的是什么？A. 创建全新的智能体B. 模拟和扩展人类智能C. 解决复杂的问题D. 提供娱乐4. 机器学习中的数据预处理主要包括哪些步骤？A. 数据清洗B. 特征提取C. 数据转换D. 数据划分5. 在人工智能领域中，哪个概念是用于描述智能行为的？A. 机器学习B. 深度学习C. 自然语言处理D. 计算机视觉6. 人工智能的发展历程可以分为几个阶段？A. 两个阶段B. 三个阶段C. 四个阶段D. 五个阶段7. 机器学习中，哪个概念用于描述模型对训练数据的拟合程度？A. 过拟合B. 欠拟合C. 正则化D. 优化8. 在人工智能中，哪个技术是用于实现智能对话的？A. 语音识别B. 自然语言生成C. 计算机视觉D. 专家系统9. 人工智能中的神经网络是一种什么类型的模型？A. 顺序计算模型B. 并行计算模型C. 深度学习模型D. 分布式计算模型10. 机器学习中，哪个概念用于评估模型的性能？A. 深度学习B. 超参数调整C. 偏差与方差分析D. 交叉验证11. 机器学习中，以下哪个术语描述的是分类问题？A. 聚类B. 回归C. 强化学习D. 半监督学习12. 在人工智能领域，以下哪个国家被认为是领导者？A. 美国B. 中国C. 英国D. 德国13. 人工智能在医疗健康领域的应用主要包括哪些？A. 疾病诊断B. 药物研发C. 机器人手术D. 患者监测14. 机器学习中，以下哪个概念用于描述模型从数据中学习的能力？A. 特征工程B. 模型训练C. 模型评估D. 模型优化15. 在人工智能中，以下哪个技术是实现计算机视觉的关键？A. 神经网络B. 支持向量机（SVM）C. 计算机视觉算法D. 数据挖掘16. 人工智能在金融领域的应用主要包括哪些？A. 信用评分B. 欺诈检测C. 自动化交易D. 客户服务17. 机器学习中，以下哪个方法用于评估模型的性能？A. 偏差B. 方差C. R² 或 R² 分数D. 准确率18. 人工智能的核心技术包括哪些？A. 神经网络B. 自然语言处理C. 计算机视觉D. 专家系统19. 人工智能和机器学习在哪些领域有广泛应用？A. 医疗保健B. 金融C. 交通D. 教育20. 什么是机器学习中的过拟合现象？A. 训练集的误差率高于验证集的误差率B. 训练集的误差率低于验证集的误差率C. 训练集和验证集的误差率相等D. 训练集的误差率和验证集的误差率没有直接关系21. 在人工智能中，哪种技术可以模拟人类的思考过程？A. 神经网络B. 深度学习C. 强化学习D. 机器学习22. 机器学习中的特征选择是什么？A. 选择对模型预测性能影响最大的特征B. 选择与目标变量无关的特征C. 选择对特征重要性进行排序的特征D. 选择随机选择的特征23. 在人工智能中，哪些技术属于计算机视觉领域？A. 人脸识别B. 语音识别C. 自动驾驶D. 图像识别24. 人工智能和机器学习在未来的发展趋势是什么？A. 更加智能化B. 更加广泛的应用C. 更加普及到各个领域D. 更加注重隐私保护25. 机器学习中的交叉验证是什么？A. 将数据集分为训练集和测试集，然后在训练集上进行模型训练，在测试集上进行模型评估B. 将数据集分为训练集、验证集和测试集，然后在训练集上进行模型训练，在验证集上进行模型调整，在测试集上进行模型评估C. 将数据集分为多个子集，轮流将每个子集作为测试集，其余子集作为训练集，然后对每个子集进行模型评估，最后取平均值D. 以上都不对26. 人工智能中的因果推理是什么？A. 通过观察数据之间的关系来推断因果关系B. 通过统计分析来推断因果关系C. 通过实验来推断因果关系D. 通过模型预测来推断因果关系27. 人工智能主要研究什么领域？A. 计算机科学B. 数学C. 控制论D. 心理学28. 机器学习是人工智能的一个分支，它的主要目的是什么？A. 模拟人类大脑的工作原理B. 创建类似人类的机器人C. 解决复杂的数据问题D. 提供个性化的服务29. 在人工智能中，以下哪个术语用来描述使计算机系统能够自动学习和改进的能力？A. 神经网络B. 专家系统C. 深度学习D. 自然语言处理30. 人工智能中的深度学习是一种特殊的机器学习方法，它基于什么理论？A. 人工神经网络B. 大数据C. 模式识别D. 逻辑推理31. 在人工智能中，以下哪个因素对模型的性能影响最大？A. 数据的质量和数量B. 算法的复杂性C. 硬件的性能D. 计算资源32. 人工智能在哪些领域有广泛的应用？A. 医疗保健B. 金融C. 教育D. 所有行业33. 机器学习中，以下哪个概念用来描述模型对自己行为的理解？A. 可解释性B. 迁移学习C. 强化学习D. 对抗训练34. 在人工智能中，以下哪个技术可以用于识别图像中的物体？A. 语音识别B. 计算机视觉C. 自然语言处理D. 传感器融合35. 人工智能的发展对于未来社会的潜在影响包括？A. 更高的生产效率B. 人力资源的转变C. 新的职业和就业机会D. 所有选项都正确36. 机器学习中，以下哪个概念描述了通过数据学习算法的过程？A. 超参数调整B. 模型训练C. 特征工程D. 强化学习37. 人工智能和机器学习的关系是什么？A. 人工智能是机器学习的子集B. 机器学习是人工智能的子集C. 两者相互独立D. 两者相互依赖38. 在人工智能中，以下哪个技术不是用来识别图像中的对象的？A. 面部识别B. 语音识别C. 情感分析D. 图像分类39. 机器学习中，以下哪个术语描述了一个训练数据集，它用于训练模型？A. 训练样本B. 测试样本C. 训练集D. 验证集40. 在机器学习中，以下哪个概念描述了模型的预测能力？A. 精度B.召回率C. F1分数D. 均方误差41. 人工智能应用中最广泛的技术之一是什么？A. 自然语言处理B. 计算机视觉C. 语音识别D. 专家系统42. 机器学习中，以下哪个步骤不属于特征工程？A. 数据清洗B. 特征选择C. 特征转换D. 特征规范化43. 人工智能的未来发展方向可能包括哪些领域？A. 量子计算B. 生物信息学C. 医疗诊断D. 所有选项都是二、问答题1. 什么是人工智能？请简要介绍其发展历程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
循环神经网络之 结构细节
o 可以把隐状态St视作“记忆体”，捕捉了之前时间点上 的信息。
o 输出Ot由当前时间及之前所有的“记忆”共同计算得到。 o 很可惜，实际应用中，St并不能捕捉和保留之前所有信
息（记忆有限？）
o 不同于CNN，这里的RNN其实整个神经网络都共享一组参 数（U,V,W），极大减小了需要训练和预估的参数量
o 之前提到的RNN结构如下
循环神经网络之 LSTM
o 咱们把“记忆细胞”表示得炫酷一点
循环神经网络之 LSTM
o LSTM呢？ o “记忆细胞”变得稍微复杂了一点点
循环神经网络之 LSTM
o 图太复杂，细节看不懂？别着急，我们解释解释。
循环神经网络之 LSTM
o LSTM关键：“细胞状态”
o 第2步：决定放什么新信息到“细胞状态”中 Sigmoid层决定什么值需要更新 Tanh层创建一个新的候选值向量 上述2步是为状态更新做准备
LSTM的几个关键“门”与操作
o 第3步：更新“细胞状态” 更新Ct-1为Ct 把旧状态与ft相乘，丢弃掉我们确定需要丢弃的信息 加上it* 。这就是新的候选值，根据我们决定更新每个状态 的程度进行变化。
LSTM的几个关键“门”与操作
o 第4步：基于“细胞状态”得到输出
首先运行一个sigmoid 层来确定细胞状态的哪个部分将输出 接着用tanh处理细胞状态(得到一个在-1到1之间的值)，再将它和
sigmoid门的输出相乘，输出我们确定输出的那部分。 比如我们可能需要单复数信息来确定输出“他”还是“他们”
循环神经网络与LSTM
主要内容
n 神经网络与循环神经网络
1.强大的功能 2.层级结构 3.多种RNN
n LSTM
1.长时依赖问题 2.“记忆细胞”与状态
n LSTM变体
1.GRU等
循环神经网络与应用
o 模仿论文(连公式都格式很正确)
循环神经网络与应用
o 模仿莎士比亚的作品
循环神经网络与应用
o 图中的Ot在有些任务下是不存在的，比如文本情感分析， 其实只需要最后的output结果就行
RNN模仿 贴吧留言
例子
RNN模仿贴吧留言例子
o 详见ipython notebook
RNN模仿贴吧留言例子
o 详见ipython notebook
不同类型的RNN
o 双向RNN o 有些情况下，当前的输出不只依赖于之前的序列元素， 还可能依赖之后的序列元素 o 比如从一段话踢掉部分词，让你补全 o 直观理解：2个RNN叠加
LSTM比较？
o 2015的paper《LSTM: A Search Space Odyssey》中，对各种变体做 了对比，发现其实本质上它们大大同小异。
o 2015的论文文《An Empirical Exploration of Recurrent Network Architectures》中，google和facebook的大大神尝试了1w+种RNN架 构，发现并非所有任务上LSTM都表现最好。
o 模仿小四的作品
循环神经网络与应用
o 看图说话
神经网络到循环神经网络
o 我们知道神经网络结构如下
o 那循环神经网络和它是什么关系呢？
循环神经网络
o 为什么有BP神经网络，CNN，还要RNN？
n 传统神经网络(包括CNN)，输入和输出都是互相 独立的。 Ø 图像上的猫和狗是分隔开的，但有些任务， 后续的输出和之前的内容是相关的。 Ø “我是中国人，我的母语是___”
不同类型的RNN
o 深层双向RNN o 和双向RNN的区别是每一步/每个时间点我们设定多层 结构
循环神经网络之 LSTM
o 前面提到的RNN解决了，对之前的信息保存的问题 o 但是！从在长期依赖的问题。
n 看电影的时候，某些情节的推断需要依赖很久以前的 一些细节。
n 很多其他的任务也一样。 n 很可惜随着时间间隔不断增大时，RNN 会丧失学习到
o 细胞状态类似于传送带。直接在整个链上运行，只有一些 少量的线性交互。信息在上面流传保持不变会很容易。
循环神经网络之 LSTM
o LSTM怎么控制“细胞状态”？
o 通过“门”让信息选择性通过，来去除或者增加信息到细胞状态 o 包含一个sigmoid神经网络层 和 一个pointwise乘法操作 o Sigmoid 层输出0到1之间的概率值，描述每个部分有多少量可以通过。
连接如此远的信息的能力。 n 也就是说，记忆容量有限，一本书从头到尾一字不漏
的去记，肯定离得越远的东西忘得越多。 n 怎么办：LSTM
循环神经网络之 LSTM
o LSTM是RNN一种，大体结构几乎一样。区别是？ o 它的“记忆细胞”改造过。 o 该记的信息会一直传递，不该记的会被“门”截断。
循环神经网络之 LSTM
0代表“不许任何量通过”，1就指“允许任意量通过”
LSTM的几个关键“门”与操作
o 第1步：决定从“细胞状态”中丢弃什么信息 => “忘记门”
o 比如完形填空中填“他”或者“她”的问题，细胞状态可能包 含当前主语的类别，当我们看到新的代词，我们希望忘记旧的 代词。
LSTM的几个关键“门”与操作
LSTM的变体
o 变种1 Ø 增加“peephole connection” Ø 让 门层 也会接受细胞状态的输入。
LSTM的变体
o 变种2 Ø 通过使用 coupled 忘记和输入门 Ø 之前是分开确定需要忘记和添加的信息，这里是一同做出决定。
LSTM的变体
o 变种3：Gated Recurrent Unit (GRU)，2014年提出 Ø 将忘记门和输入门合成了一个单一的 更新门 Ø 同样还混合了细胞状态和隐藏状态，和其他一些改动。 Ø 比标准LSTM简单。
n RNN引入“记忆”的概念 Ø 循环2字来源于其每个元素都执行相同的任务。 Ø 但是输出依赖于 输入 和 “记忆”循环神 Nhomakorabea网络之 结构
o 简单来看，把序列按时间展开
循环神经网络之 结构
o Xt是时间t处的输入 o St是时间t处的“记忆”，St=f(UXt+WSt−1)，f可以是tanh等 o Ot是时间t出的输出，比如是预测下个词的话，可能是