LSTM和GRU的动态图解
《融合注意力和GRU的会话推荐研究》
《融合注意力和GRU的会话推荐研究》篇一一、引言随着互联网技术的飞速发展，会话推荐系统在许多领域得到了广泛的应用，如电子商务、社交媒体和智能助手等。
会话推荐系统能够根据用户的输入历史和当前上下文，为用户提供精准的推荐，从而提高用户体验和满意度。
近年来，深度学习技术的发展为会话推荐系统提供了新的研究思路和方法。
其中，基于循环神经网络（RNN）和长短时记忆网络（LSTM）的会话推荐模型已经取得了显著的成果。
然而，这些模型在处理长序列和捕捉关键信息方面仍存在局限性。
因此，本文提出了一种融合注意力和GRU的会话推荐模型，以进一步提高推荐精度和鲁棒性。
二、相关文献综述近年来，基于循环神经网络的会话推荐模型已经成为了研究热点。
早期的研究主要关注于基于RNN的模型，如RNN-base和Seq2Seq-base模型等。
随着深度学习技术的不断发展，基于LSTM和GRU的模型被广泛应用于会话推荐领域，如SMM-GRU 和GCLSTM等。
这些模型能够捕捉用户的输入历史和上下文信息，从而为用户提供更准确的推荐。
然而，这些模型在处理长序列和捕捉关键信息方面仍存在局限性。
因此，一些研究开始尝试将注意力机制引入到会话推荐模型中，以提高模型的鲁棒性和准确性。
三、方法论本文提出了一种融合注意力和GRU的会话推荐模型。
该模型主要由以下几个部分组成：1. 输入层：该层负责接收用户的输入历史和上下文信息，并将其转化为模型的输入数据。
2. 注意力机制层：该层通过计算不同历史信息的权重系数，将注意力集中在关键信息上，从而提高模型的鲁棒性和准确性。
3. GRU层：该层采用GRU网络对用户的输入历史和上下文信息进行编码和解码，从而捕捉用户的兴趣和需求。
4. 输出层：该层根据模型的输出结果为用户提供推荐列表。
四、实验设计与结果分析为了验证本文提出的模型的性能和效果，我们进行了大量的实验。
实验数据集采用公共的会话推荐数据集。
我们比较了融合注意力和GRU的模型与其他传统的会话推荐模型（如RNN、LSTM、SMM-GRU等）在准确率、召回率和F1值等方面的性能指标。
基于神经网络的股票预测模型
第 ２８卷 第 １０期 ２０１９年 １０月
运 筹 与 管 理
ＯＰＥＲＡＴＩＯＮＳＲＥＳＥＡＲＣＨ ＡＮＤＭＡＮＡＧＥＭＥＮＴＳＣＩＥＮＣＥ
基于神经网络的股票预测模型
Ｖｏｌ．２８，Ｎｏ．１０ Ｏｃｔ．２０１９
乔若羽
（中国科学技术大学 统计与金融系，安徽 合肥 ２３００２６）
摘 要：针对股票市场的特征提取困难、预测精度较 低 等 问 题，本 文 基 于 深 度 学 习 算 法，构 建 了 一 系 列 用 于 股 票 市 场预测的神经网络模型，包括基于多层感知机（ＭＬＰ）、卷 积 神 经 网 络 （ＣＮＮ）、递 归 神 经 网 络 （ＲＮＮ）、长 短 期 记 忆 网 络（ＬＳＴＭ）和门控神经单元（ＧＲＵ）的模型。针对 ＲＮＮ、ＬＳＴＭ 和 ＧＲＵ无法充分利用所参考的时间维度的信息，引 入 注 意 力 机 制 （ＡｔｔｅｎｔｉｏｎＭｅｃｈａｎｉｓｍ）给 各 时 间 维 度 的 信 息 赋 予 不 同 权 重 ，区 分 不 同 信 息 对 预 测 的 重 要 程 度 ，从 而 提 升 递归网络模型的性能。上述模型均基于股票数据进 行 了 优 化，基 于 上 证 指 数 对 各 类 模 型 进 行 了 充 分 的 对 比 实 验， 探 索 了 模 型 中 重 要 变 量 对 性 能 的 影 响 ，旨 在 为 基 于 神 经 网 络 的 股 票 预 测 模 型 给 出 具 体 的 优 化 方 向 。 关 键 词 ：股 票 预 测 ；深 度 学 习 ；神 经 网 络 ；注 意 力 机 制 中 图 分 类 号 ：Ｆ８３０．９１ 文 章 标 识 码 ：Ａ 文 章 编 号 ：１００７３２２１（２０１９）１００１３２０９ ｄｏｉ：１０．１２００５／ｏｒｍｓ．２０１９．０２３３
基于自适应多尺度注意力机制的CNN-GRU矿用电动机健康状态评估
基于自适应多尺度注意力机制的CNN−GRU矿用电动机健康状态评估谭东贵， 袁逸萍， 樊盼盼（新疆大学 智能制造现代产业学院，新疆 乌鲁木齐 830017）摘要：利用多传感器信息融合技术进行电动机健康状态评估时，矿用电动机监测数据中存在异常值和缺失值，而卷积神经网络和循环神经网络等深度学习模型在数据质量下降严重的情况下难以有效提取数据特征和更新网络权重，导致梯度消失或爆炸等问题。
针对上述问题，提出了一种基于自适应多尺度注意力机制的CNN−GRU （CNN−GRU−AMSA ）模型，用于评估矿用电动机健康状态。
首先，对传感器采集的电动机运行数据进行填补、剔除和标准化处理，并以环境温度变化作为依据对矿用电动机运行数据进行工况划分。
然后，根据马氏距离计算出电动机电流、电动机三相绕组温度、电动机前端轴承温度和电动机后端轴承温度等健康评估指标的健康指数（HI ），采用Savitzky–Golay 滤波器对指标HI 进行降噪、平滑、归一化处理，并结合主成分分析法计算的不同指标对矿用电动机的贡献度，对指标HI 进行加权融合得到矿用电动机HI 。
最后，将矿用电动机HI 输入CNN−GRU−AMSA 模型中，该模型通过动态调整注意力权重，实现对不同尺度特征的信息融合，从而准确输出电动机健康状态评估结果。
实验结果表明，与其他常见的深度学习模型CNN ，CNN−GRU ，CNN−LSTM ，CNN−LSTM−Attention 相比，CNN−GRU−AMSA 模型在均方根误差、平均绝对误差、准确率、Macro F1及Micro F1等评价指标上更优，且预测残差的波动范围更小，稳定性更优。
关键词：电动机健康状态评估；自适应多尺度注意力机制；CNN−GRU ；多传感器信息融合；主成分分析中图分类号：TD614 文献标志码：AHealth status evaluation of CNN-GRU mine motor based on adaptive multi-scale attention mechanismTAN Donggui, YUAN Yiping, FAN Panpan(Intelligent Manufacturing Modern Industry College, Xinjiang University, Urumqi 830017, China)Abstract : When using multi-sensor information fusion technology to evaluate the health status of motors,there are outliers and missing values in the monitoring data of mine motors. However, deep learning models such as convolutional neural networks and recurrent neural networks find it difficult to effectively extract data features and update network weights when the data quality is severely degraded, resulting in problems such as vanishing or exploding gradients. In order to solve the above problems, A CNN-GRU (CNN-GRU-AMSA) model based on adaptive multi-scale attention mechanism is proposed to evaluate the health status of mine motors. Firstly, the model fills in, removes, and standardizes the motor operation data collected by sensors, and classifies the operating conditions of mine motors based on environmental temperature changes. Secondly, based on the Mahalanobis distance, the health index (HI) of health evaluation indicators such as motor current, three-phase收稿日期：2023-11-08；修回日期：2024-02-25；责任编辑：盛男。
基于GRU_网络的格兰杰因果网络重构
第 22卷第 10期2023年 10月Vol.22 No.10Oct.2023软件导刊Software Guide基于GRU网络的格兰杰因果网络重构杨官学，王家栋（江苏大学电气信息工程学院，江苏镇江 212013）摘要：传统格兰杰因果依赖线性动力学，无法适应非线性应用场景的需求，因此提出一种基于GRU网络的格兰杰因果网络重构方法。
该方法将整个网络重构划分为每个目标节点的邻居节点选择问题，针对每个目标节点构建基于GRU网络的格兰杰因果模型，在循环神经网络中引入简单的门控机制控制信息的更新方式，并对网络输入权重施加组稀疏惩罚以提取节点间的格兰杰因果关系。
然后集成每一个子网络，获得最终完整的因果网络结构，并在GRU网络建模训练过程中考虑采用正则化的优化方法。
通过线性矢量自回归、非线性矢量自回归、非均匀嵌入时滞矢量自回归、Lorenz-96模型及DREAM3竞赛数据集的实验表明，所提网络鲁棒性较强、有效性较高，在网络重构性能上具有明显的优越性。
关键词：网络重构；因果推断；循环神经网络；格兰杰因果；门控循环单元DOI：10.11907/rjdk.231360开放科学（资源服务）标识码（OSID）：中图分类号：TP183 文献标识码：A文章编号：1672-7800（2023）010-0049-09Network Reconstruction via Granger Causality Based on GRU NetworkYANG Guanxue， WANG Jiadong（School of Electrical and Information Engineering， Jiangsu University， Zhenjiang 212013， China）Abstract：Reconstruction method of Granger causality network based on GRU network is proposed to address the traditional Granger causality that relies on linear dynamics and cannot meet the needs of nonlinear application scenarios. This method divides the entire network reconstruc⁃tion into neighbor node selection problems for each target node， constructs a Granger causality model based on GRU network for each target node， introduces a simple gating mechanism to control the update of information in the recurrent neural network， and applies a sparse penalty to the network input weight to extract the Granger causality between nodes. Then integrate each sub network to obtain the final complete causal network structure， and consider using regularization optimization methods during the GRU network modeling and training process. The experi⁃ments on linear vector autoregressive， nonlinear vector autoregressive， non-uniformly embedded time-delay vector autoregressive， Lorenz-96 model， and DREAM3 competition dataset show that the proposed network has strong robustness， high effectiveness， and obvious superiority in network reconstruction performance..Key Words：network reconstruction； causal inference； recurrent neural network； Granger causality； gated recurrent unit0 引言现实生活中，许多复杂系统均可在网络角度被抽象表达，其中网络节点代表系统变量，连边代表各变量间的相互作用关系。
lstm对rnn的缺陷的改进方法
lstm对rnn的缺陷的改进方法LSTM (长短期记忆网络) 是一种循环神经网络(RNN) 的变体，被广泛应用于自然语言处理、序列建模、机器翻译等任务上。
虽然LSTM在解决RNN中的梯度消失和梯度爆炸问题上取得了重要突破，但LSTM仍然存在一些缺陷。
本文将详细讨论LSTM对RNN的缺陷以及改进方法，以期更好地理解LSTM的优势和劣势。
1. LSTM对RNN的缺陷在介绍LSTM的改进方法之前，我们首先需要了解LSTM相对于RNN的主要缺陷。
1.1 梯度消失问题RNN在进行反向传播时，需要通过时间序列反向传播梯度。
然而，由于RNN的“长期依赖”特性，梯度在时间序列中会不断乘以一个权重矩阵（参数矩阵）的幂次，导致梯度指数级地衰减。
这使得RNN难以学习长期依赖关系。
1.2 遗忘短期信息RNN在传递信息时，只能通过一个隐藏状态向量进行传播。
由于每个时间步的输入和隐藏状态都会影响下一个时间步的隐藏状态，RNN有时会忘记之前的输入信息，尤其是文本序列中的短期信息。
1.3 无法处理长序列当RNN处理长时间序列时，会面临内存占用和计算成本的挑战。
对于具有大量时间步的序列数据，RNN的内部状态需要存储并传输大量的激活值，这导致了显存问题和训练时间的大幅增加。
2. LSTM的改进方法为了解决LSTM中存在的问题，研究人员提出了一系列的改进方法。
下面将逐一介绍这些方法。
2.1 GRU (门控循环单元)门控循环单元(GRU) 是一种另类的循环神经网络结构，其目标是简化LSTM。
GRU通过合并输入门和遗忘门为一个更新门，并将记忆单元的状态和隐藏状态合并为一个隐藏状态向量，从而减少了LSTM中的参数数量。
相比于LSTM，GRU在一些任务上表现出了相似性能。
由于GRU的参数更少，因此计算速度可能更快，并且对于一些数据集上的任务，GRU可能是更好的选择。
2.2 批归一化批归一化是另一种改进LSTM的方法。
传统的LSTM中，隐藏状态的优化通常是基于激活函数进行的，但这种方法可能导致梯度消失或爆炸问题。
四万字全面详解深度学习中的注意力机制（上）
四万字全⾯详解深度学习中的注意⼒机制（上）作者⼁蘑菇先⽣来源⼁NewBeeNLP编辑⼁极市平台极市导读本⽂介绍了基础的Attention模型的应⽤，并通过论⽂讨论了Attention机制的各种变体。
⽂章讲述详细，能够帮助⼤家对注意⼒机制有更全⾯的了解。
>>加⼊极市CV技术交流群，⾛在计算机视觉的最前沿⽬前深度学习中热点之⼀就是注意⼒机制（Attention Mechanisms）。
Attention源于⼈类视觉系统，当⼈类观察外界事物的时候，⼀般不会把事物当成⼀个整体去看，往往倾向于根据需要选择性的去获取被观察事物的某些重要部分，⽐如我们看到⼀个⼈时，往往先Attend到这个⼈的脸，然后再把不同区域的信息组合起来，形成⼀个对被观察事物的整体印象。
「同理，Attention Mechanisms可以帮助模型对输⼊的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更⼤的开销，这也是Attention Mechanism应⽤如此⼴泛的原因」，尤其在Seq2Seq模型中应⽤⼴泛，如机器翻译、语⾳识别、图像释义（Image Caption）等领域。
Attention既简单，⼜可以赋予模型更强的辨别能⼒，还可以⽤于解释神经⽹络模型（例如机器翻译中输⼊和输出⽂字对齐、图像释义中⽂字和图像不同区域的关联程度）等。
本⽂主要围绕核⼼的Attention机制以及Attention的变体展开。
Seq2Seq ModelAttention主要应⽤于Seq2Seq模型，故⾸先简介⼀下Seq2Seq模型。
Seq2Seq模型⽬标是学习⼀个输⼊序列到输出序列的映射函数。
应⽤场景包括：机器翻译（Machine translation）、⾃动语⾳识别（Automatic speech recognition）、语⾳合成（Speech synthesis）和⼿写体⽣成（Handwriting generation）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
LSTM和GRU的动态图解
编者按：关于LSTM，之前我们已经出过不少文章，其中最经典的一篇是chrisolah的《一文详解LSTM网络》，文中使用的可视化图片被大量博文引用，现在已经随处可见。
但正如短视频取代纯文字阅读是时代的趋势，在科普文章中，用可视化取代文字，用动态图取代静态图，这也是如今使知识更易于被读者吸收的常规操作。
今天，论智给大家带来的是AI语音助理领域的机器学习工程师Michael Nguyen撰写的一篇LSTM和GRU的动态图解：对于新手，它更直观易懂；对于老手，这些新图绝对值得收藏。
在这篇文章中，我们将从LSTM和GRU背后的知识开始，逐步拆解它们的内部工作机制。
如果你想深入了解这两个网络的原理，那么这篇文章就是为你准备的。
问题：短期记忆
如果说RNN有什么缺点，那就是它只能传递短期记忆。
当输入序列够长时，RNN是很难把较早的信息传递到较后步骤的，这意味着如果我们准备了一段长文本进行预测，RNN 很可能会从一开始就遗漏重要信息。
出现这个问题的原因是在反向传播期间，RNN的梯度可能会消失。
我们都知道，网络权重更新依赖梯度计算，RNN的梯度会随着时间的推移逐渐减小，当序列足够长时，梯度值会变得非常小，这时权重无法更新，网络自然会停止学习。
梯度更新规则
根据上图公式：新权重=权重-学习率×梯度。
已知学习率是个超参数，当梯度非常小时，权重和新权重几乎相等，这个层就停止学习了。
由于这些层都不再学习，RNN就会忘记在较长序列中看到的内容，只能传递短期记忆。
解决方案：LSTM和GRU。