基于多媒体信息的双向LSTM情感分析方法
融合多媒体特征的LSTM微博情感分析方法
融合多媒体特征的LSTM微博情感分析方法作者：春德来源：《数码设计》2018年第14期摘要：本文从新浪微博数据出发，结合多媒体特征（表情符号），应用长短时记忆网络（LSTM）的方法对微博的情感倾向进行新的分析。
关键词：情感分析;长短时记忆网络;多媒体特征中图分类号：TP391.1; 文献标识码：A;;;; 文章编号：1672-9129（2018）14-0171-01引言：随着互联网技术的飞速发展，新浪微博，微信，知乎等社交媒体已经成为人们日常生活发表观点，表达情绪的重要平台。
因此，针对社交媒体内容的情感分析变得越来越重要。
微博情感分析的研究是一项特别实用且有挑战的工作，已经吸引了大批学者的研究。
但是，许多研究都聚焦在微博的正文，很少关注其中的多媒体特征与深度学习算法的结合，从而忽略了许多关键信息对情感分析的作用。
本文基于长短时记忆网络（The Long-Short Term Memory Network），融合微博文本信息中的表情符号，建立融合表情符号特征的长短时记忆网络（Emoji-LSTM），对微博正文进行情感分析研究。
基于英文Tweeter的情感分析工作已经持续了很多年，早期很多工作都集中于词袋模型的应用，后续也有引进微博表情，社交关系等异构信息的工作，近期主要集中于神经网络对情感分析的研究。
受到英文Tweeter的情感分析工作的启发，中文微博的情感分析也发展迅速[1]。
文献[2]深入分析了词汇和句子结构，基于语义特征构建情感词汇库，对微博情感分析进行了尝试。
文献[3]从语言内涵的语义学出发，建立情感语义词汇库，对所属情感语义进行加权，以此结合语义学特征对微博内容进行情感分析。
文献[4]针对新浪微博的情感分析研究提出了基于层次结构的方法，并基于主体对内容进行特征提取，提高情感分析准确率。
显而易见，本文提出的方法，不仅考虑了微博的多媒体特征（表情符号），还将词汇的上下文关系考虑其中，以此达到更好地对微信情感倾向进行预测的目的。
基于LSTM的主题情感分析技术研究
基于LSTM的主题情感分析技术研究近年来，随着社交媒体和在线论坛的普及，人们可以方便地在网络上发布各种言论。
这些言论涵盖了各种主题，从政治、经济到个人日常生活等。
然而，随着信息量的快速增长，人们阅读和理解这些言论的难度也随之增加。
因此，研究如何自动地确定这些言论的情感和主题，成为了一个热门研究方向。
本文将研究基于LSTM的主题情感分析技术。
LSTM是一种能够捕捉时序信息的神经网络模型，常被用于自然语言处理任务中。
在情感分析任务中，LSTM可以用来识别文本中的情感，并输出相应的情感极性（如正面、负面或中性）。
此外，它还可以用于确定文本的主题。
在本文中，我们将介绍使用LSTM的主题情感分析技术的实现步骤和结果。
首先，我们需要准备用于训练和测试LSTM模型的数据集。
数据集需要包含多个样本，每个样本都应标注有情感和主题信息。
例如，一个样本可以是一篇关于旅游的评论，它的情感为积极，主题为旅游。
我们可以从各种渠道收集包含情感和主题标注的数据集，如亚马逊评论、新闻文章或推特数据等。
接着，我们需要对文本数据进行预处理。
预处理的主要目的是将文本转换为有意义的数字表示，以供LSTM模型使用。
具体来说，我们需要将文本分词、去除停用词、转换为词向量等。
这些步骤的目的是去除文本中的噪声和冗余信息，并将其转换为计算机可以处理的格式。
此外，我们需要对情感和主题标注进行编码，以便它们可以作为LSTM模型的目标输出。
在准备好数据后，我们可以设计LSTM模型。
LSTM模型可以包含多个隐藏层，每个隐藏层都包含多个神经元。
在这里，我们将使用单层的LSTM模型。
模型的输入是预处理后的文本数据，输出是情感和主题的预测结果。
在训练模型时，我们将使用反向传播算法，以最小化训练集和验证集的损失函数。
在完成模型训练后，我们需要对模型进行测试，以评估其性能。
我们可以使用测试集来评估模型的准确度、召回率、F1值等性能指标。
这些指标可以帮助我们判断模型是否达到了高水平，并且有助于我们进一步改进模型。
基于LSTM的情感分析算法研究与应用
基于LSTM的情感分析算法研究与应用随着社交媒体的兴起，人们在互联网上产生了大量的文字数据。
这些数据不仅仅反映了人们的观点和情绪，还反映了人类社会的一些现象。
情感分析是一种通过对这些数据进行分析和处理，来了解社会现象和人们情感的方法。
然而，情感分析的准确性和效率一直是研究者们关注的问题，近年来，基于LSTM的情感分析算法受到了越来越多的关注。
LSTM（Long Short-Term Memory）是一种递归神经网络的变种，可以有效地处理序列数据。
它具有记忆单元和门控单元的结构，可以有效地捕捉序列数据中的长期依赖关系。
在情感分析中，LSTM可以用来处理文本数据，并将其转化为矩阵，以便进行分类和预测。
LSTM的优点是可以自动学习历史数据和规律，并能够自适应不断变化的数据。
基于LSTM的情感分析算法可以分为两类：有监督学习和无监督学习。
有监督学习是指在训练模型时，使用标注好的数据集进行训练。
无监督学习是指利用未标注的数据集进行训练。
在训练过程中，LSTM会不断地调整参数，以达到最优化的效果。
在有监督学习中，训练集的标注数据可以根据情感分析的目的进行分类。
常见的标注分类方法有二元分类、多元分类和评分分类。
二元分类一般将数据分为积极和消极两类；多元分类可以将数据分为积极、消极和中性三类，同时也可以划分为更多类别；评分分类是将数据按照一定的得分划分为不同的类别，一般用于评价系统的用户体验。
在无监督学习中，LSTM可以使用自编码器（autoencoder）来对数据进行处理。
自编码器是一种神经网络模型，可以高效地从原始数据中提取特征。
LSTM可以通过自编码器，将文本数据转化为高维矩阵，从而更好地进行分类和预测。
与传统的情感分析算法相比，基于LSTM的情感分析算法具有很多优势。
首先，LSTM能够处理序列数据，能够有效地捕捉数据中的长期依赖关系，这样可以提高情感分析的准确性和效率。
其次，LSTM具有自适应能力，能够自动学习数据的规律，这样可以减少人工干预的成本。
基于双向LSTM的情感分析算法研究
基于双向LSTM的情感分析算法研究一、绪论：情感分析是一种运用自然语言处理技术对文本进行分类，并确定其中传达的情感极性的任务。
情感分析能够分析社交媒体数据、产品评论、电影评论和新闻报道等海量数据，从而为企业和个人提供有用的信息。
双向LSTM（Bidirectional LSTM）是一种经典的循环神经网络模型，能够对输入序列进行双向处理，提高了模型的学习能力。
本文主要研究基于双向LSTM的情感分析算法。
二、相关技术：1. LSTMLSTM(Long Short-Term Memory)是一种循环神经网络的变种，可以解决普通循环神经网络存在的长时依赖和梯度消失问题，从而更好地处理文本序列。
LSTM包含三种门控单元：遗忘门、输入门、输出门，可以控制信息的流通。
2. 双向LSTM双向LSTM是一种能够对输入序列进行双向处理的模型，它在训练时从前向后和后向前两个方向对输入进行处理，并将两个方向的输出合并起来得到最终的输出结果。
相比于单向LSTM，双向LSTM能够更好地捕捉文本序列中的上下文信息。
3. 词向量词向量是将词语映射为实数向量的方法，是自然语言处理领域中的核心技术之一。
通过词向量可以将文本信息转化为数字信息，提高模型的学习能力。
三、情感分析算法：本研究使用基于双向LSTM的情感分析算法，具体步骤如下：1.文本预处理对输入的文本进行处理，包括去除无关词汇、分词、去除停用词和进行词性标注等。
2.词向量嵌入将每个词语转化为对应的词向量，并对句子中的每个词向量拼接成一个矩阵，作为LSTM的输入。
3.双向LSTM网络对输入矩阵进行双向LSTM处理，得到每个时刻的隐状态向量，将正向和反向的隐状态向量合并得到最终的输出结果。
4.分类器将LSTM的输出结果输入到分类器中，进行情感分类并确定情感的极性。
四、实验结果与分析：本文使用IMDB电影评论数据集进行实验，该数据集包含50000条电影评论，其中25000条为训练数据，25000条为测试数据。
社交媒体数据挖掘中的情感分析算法与效果评估
社交媒体数据挖掘中的情感分析算法与效果评估引言随着社交媒体的蓬勃发展，大量的用户在不同的平台上分享各种各样的信息，这使得社交媒体成为了一个宝贵的数据源。
然而，这些数据往往伴随着各种复杂的情感表达，包含了人们对于某一特定话题的情绪、态度和观点等信息。
因此，情感分析在社交媒体数据挖掘中显得尤为重要，可以帮助我们深入了解用户对于特定话题的看法和态度。
一、情感分析算法社交媒体情感分析算法是指通过各种自然语言处理和机器学习技术，自动识别和分类社交媒体文本中包含的情感表达。
以下是一些常见的情感分析算法。
1. 基于词典的方法：该方法通过构建情感词典来对社交媒体文本进行情感分析。
情感词典包含了一系列的单词和对应的情感极性，如积极、消极或中性。
算法通过计算文本中情感词的频率和排列组合等方式来判断整个文本的情感倾向。
2. 基于机器学习的方法：该方法将情感分析看作一个二分类问题，通过机器学习算法训练模型来自动判断文本的情感。
常用的机器学习算法包括支持向量机（SVM）、朴素贝叶斯（Naive Bayes）以及深度学习方法如卷积神经网络（CNN）和循环神经网络（RNN）等。
3. 基于深度学习的方法：深度学习模型在情感分析任务上取得了显著的成果。
通过建立多层神经网络，深度学习可以从社交媒体文本中提取更丰富的语义特征，从而提高情感分析的准确性。
其中，长短时记忆网络（LSTM）和变换器（Transformer）是常用的深度学习架构。
二、情感分析效果评估在社交媒体数据挖掘中，情感分析的准确性和效果评估是十分重要的。
以下是几种常见的情感分析效果评估方法。
1. 人工标注：通过人工标注的方式，人们可以为社交媒体文本打上情感标签，如积极、消极或中性。
然后，通过计算模型预测结果与人工标注结果之间的准确率、精确率、召回率、F1值等指标来评估情感分析的效果。
2. 语义相似度比较：通过计算模型预测结果与预先定义好的情感标准结果之间的语义相似度来评估情感分析的效果。
基于word2vec和双向lstm的情感分类深度模型
互联网带动了社交平台和电商网站的兴起，从而使得人们 可以自由地对自己感兴趣的事物发表观点，这些观点都含有用 户所表达的情感信息。分析这些蕴涵情感的观点不仅有利于 在舆情监控、营销策略等方面的应用，还可以用于问答系统的 个性化定制。精准地进行情感分析已成为当前工业界和学术 界的迫切要求，这也大力促进了情感分析成为自然语言处理领 域的一个热 点 研 究 方 向。 情 感 分 析 又 称 意 见 挖 掘、观 点 分 析 等，是通过计算机帮助用户快速获取、整理互联网上海量的主 观评价信息，对带有情感色彩的主观性文本进行分析、处理、归 纳和推理的过 程 ［１］。 作 为 情 感 分 析 的 一 项 核 心 工 作，情 感 分 类主要是针对文本所蕴涵的情感（如积极、消极、中性等）进行 自动分类。目前，国内外学者主要基于传统的机器学习和现在 流行的深度学习中的浅层神经网络两种方法进行情感分类。 张向阳等人［２］基于情感词典和复杂网络人工构建情感分类特 征，继而利用传统的支持向量机、朴素贝叶斯等机器学习算法 进行情感分类；Ｌｉ等 人 ［３］通 过 人 工 构 建 句 子 的 标 签 和 上 下 文 标签特征进行情感分类。这类基于传统机器学习的方法需要 大量人工标注数据且过度依赖背景知识。陈翠平［４］通过深度 信念网络来对文本提取情感特征进而完成情感分类任 务； Ｋｉｍ［５］基于卷积神经网络进行情感分类，取 得 了 比 较 好 的 效
摘 要：针对社交网络 文 本 传 统 情 感 分 类 模 型 存 在 先 验 知 识 依 赖 以 及 语 义 理 解 不 足 的 问 题，提 出 一 种 基 于 ｗｏｒｄ２ｖｅｃ和双向长短时记忆循环神经网络的情感分类模型———ＷＥＥＦＢＩＬＳＴＭ。采 用 基 于 ＣＢＯＷ（ｃｏｎｔｉｎｕｏｕｓ ｂａｇｏｆｗｏｒｄｓ）方式的 ｗｏｒｄ２ｖｅｃ模型针对语料训练词向量，减小词向量间的稀疏度，通过双向 ＬＳＴＭ神经网络获取 更为完整的文本上下文信息从而提取出深度词向量特征，继而使用 ｏｎｅｖｅｒｓｕｓｏｎｅＳＶＭ对其进行情感分类。实 验结果表明，提出的 ＷＥＥＦＢＩＬＳＴＭ模型较其他模型分类效果更好，能达到更优的准确率和 Ｆ值。 关键词：文本分类；情感分析；双向长短时记忆循环神经网络；词向量；社交网络 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１００１３６９５（２０１９）１２０１３３５８３０５ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０８．０５９９
基于SWCNN和双向LSTM的文本情感特征分析方法
第１３卷㊀第１１期Ｖｏｌ．１３Ｎｏ．１１㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年１１月㊀Ｎｏｖ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）１１－０２７５－０６中图分类号：ＴＰ３９１文献标志码：Ａ基于ＳＷＣＮＮ和双向ＬＳＴＭ的文本情感特征分析方法许学添，赖河蒗（广东司法警官职业学院信息管理系，广州５１０５２０）摘㊀要：针对文本句子中语义角色重叠㊁高维度文本词向量训练中难以收敛等问题，将情感词标签与卷积神经网络相结合，采用结合情感词的卷积神经网络算法，将词语转为情感标签后与词向量拼接再输入卷积神经网络，将输出的特征再与双向长短期记忆神经网络所获取的特征进行融合，最后通过全连接网络输出情感分类结果㊂实验结果表明，在微博新冠疫情评论情绪数据集上，本研究所提出的算法模型文本情感特征识别精确度达到８９．２３％，比其他深度学习算法在准确率上至少提高１．９５％，而且训练具有更快的收敛速度，能够为文本情感识别提供一种新的思路与方法㊂关键词：文本情感特征；自然语言处理；卷积神经网络；双向长短期记忆神经网络ＴｅｘｔｅｍｏｔｉｏｎａｎａｌｙｓｉｓｍｅｔｈｏｄｕｓｉｎｇＳＷＣＮＮａｎｄＢｉＬＳＴＭＸＵＸｕｅｔｉａｎ，ＬＡＩＨｅｌａｎｇ（ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＡｄｍｉｎｉｓｔｒａｔｉｏｎ，ＧｕａｎｇｄｏｎｇＪｕｓｔｉｃｅＰｏｌｉｃｅＶｏｃａｔｉｏｎａｌＣｏｌｌｅｇｅ，Ｇｕａｎｇｚｈｏｕ５１０５２０，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｐｒｏｂｌｅｍｓｏｆｏｖｅｒｌａｐｐｉｎｇｓｅｍａｎｔｉｃｒｏｌｅｓｉｎｔｅｘｔｓｅｎｔｅｎｃｅｓａｎｄｄｉｆｆｉｃｕｌｔｃｏｎｖｅｒｇｅｎｃｅｉｎｔｈｅｔｒａｉｎｉｎｇｏｆｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌｔｅｘｔｗｏｒｄｖｅｃｔｏｒｓ，ｔｈｉｓｐａｐｅｒｕｓｅｓａｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓａｌｇｏｒｉｔｈｍｗｈｉｃｈｃｏｍｂｉｎｅｓｅｍｏｔｉｏｎａｌｗｏｒｄｌａｂｅｌｓｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ．Ａｆｔｅｒｗｏｒｄｓａｒｅｔｒａｎｓｆｏｒｍｅｄｉｎｔｏｅｍｏｔｉｏｎａｌｌａｂｅｌｓ，ｔｈｅｙａｒｅｓｐｌｉｃｅｄｗｉｔｈｗｏｒｄｖｅｃｔｏｒｓａｎｄｔｈｅｎｉｎｐｕｔｉｎｔｏｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ｔｈｅｏｕｔｐｕｔｆｅａｔｕｒｅｓａｒｅｆｕｓｅｄｗｉｔｈｔｈｅｆｅａｔｕｒｅｓｏｂｔａｉｎｅｄｂｙｂｉｄｉ－ｒｅｃｔｉｏｎａｌｌｏｎｇｓｈｏｒｔ－ｔｅｒｍｍｅｍｏｒｙｎｅｕｒａｌｎｅｔｗｏｒｋ，ｆｉｎａｌｌｙｔｈｅｅｍｏｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｒｅｓｕｌｔｓａｒｅｏｕｔｐｕｔｔｈｒｏｕｇｈｔｈｅｆｕｌｌｃｏｎｎｅｃｔｉｏｎｎｅｔｗｏｒｋ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｏｎｔｈｅｍｉｃｒｏｂｌｏｇＣＯＶＩＤ－１９ｃｏｍｍｅｎｔｅｍｏｔｉｏｎｄａｔａｓｅｔ，ｔｈｅａｃｃｕｒａｃｙｏｆｔｅｘｔｅｍｏｔｉｏｎｆｅａｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎｏｆｔｈｅａｌｇｏｒｉｔｈｍｍｏｄｅｌｐｒｏｐｏｓｅｄｉｎｔｈｉｓｓｔｕｄｙｒｅａｃｈｅｓ８９．２３％，ｗｈｉｃｈｉｓａｔｌｅａｓｔ１．９５％ｈｉｇｈｅｒｔｈａｎｏｔｈｅｒｄｅｅｐｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓ，ａｎｄｔｈｅｔｒａｉｎｉｎｇｈａｓｆａｓｔｅｒｃｏｎｖｅｒｇｅｎｃｅｓｐｅｅｄ，ｗｈｉｃｈｃａｎｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｔｈｅｅｆｆｅｃｔｏｆｔｅｘｔｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎａｎｄａｎａｌｙｓｉｓ．Ｋｅｙｗｏｒｄｓ：ｔｅｘｔｅｍｏｔｉｏｎａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓ；ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ；ＣＮＮ；ＢｉＬＳＴＭ基金项目：广东省普通高校特色创新项目（２０２０ＫＴＳＣＸ２７２）；广东省科技创新战略专项资金项目（ｐｄｊｈ２０２１ｂ０８１５）；广东省普通高校特色创新项目（２０２２ＫＴＳＣＸ２８７）㊂作者简介：许学添（１９８４－），男，硕士，副教授，主要研究方向：深度学习㊁信号处理㊂Ｅｍａｉｌ：ｈｍｉｌｙｘｘｔ＠１６３．ｃｏｍ；赖河蒗（１９８５－），男，博士，讲师，主要研究方向：多模态深度学习㊁自然语言处理㊂收稿日期：２０２２－１１－１７０㊀引㊀言随着终端移动设备的智能化和交互技术的高速发展使得人们在线交流沟通更加高效与频繁，人们多会倾向于通过互联网来发表自己的观点，例如在微博中对热点事件发表自己的看法及态度，表达自己的心情［１］㊂如何从互联网中的文本信息中分析出信息发布者的情感倾向，是自然语言处理领域的重要内容之一［２］㊂当前，文本情感分析方法主要有基于情感词典的情感分析方法㊁基于传统机器学习的情感分析方法和基于深度学习的情感分析方法等［３］㊂其中，基于情感词典的文本情感分析方法，识别结果过度依赖已建立的 情感词典 ，在今天网络评论大量使用网络用语㊁双关语㊁谐音语的情况下，要不断扩充 情感词典 才能取得较好的识别准确率㊂基于传统机器学习的情感分析方法，对不同分类器的组合选择依赖程度较高，不能充分利用上下文文本的语境来进行情感分析，也存在一定的缺陷㊂基于深度学习的情感分析方法能主动学习文本的高维度深层次特征，并主动保留文本中的词语的信息，从而更好地提取到相应词语的情感语义信息，提高识别准确率㊂Ｗｏｒｄ２ｖｅｃ技术将文本单词映射到低维稠密的向量空间，实现了词语的向量表示，并且可以通过相关性来表示词语之间的关联，这极大地推动深度学习在文本分类上的广泛应用［４］㊂随之而来，卷积神经网络（ＣＮＮ），长短期记忆网络（ＬＳＴＭ）㊁注意力机制等模型在自然语言领域得到了广泛研究与应用，其中也包含了在文本情感分析领域的应用，Ｋｉｍ等学者［５］最先提出了将卷积神经网络应用于文本情感分类㊂冯兴杰等学者［６］将卷积神经网络结合注意力机制进行文本情感分析㊂成璐［７］使用基于双向ＬＳＴＭ和注意力机制的神经网络模型对中文评论进行情感分析㊂Ｙｕａｎ等学者［８］使用多通道卷积神经网络进行局部语义特征信息的提取并结合双向ＧＲＵ模型来将文本的整体语义信息进行融合从而获得最终的情感倾向㊂Ｗａｎｇ等学者［９］采用双向ＬＳＴＭ网络结合常用微博情感符号以增强文本情感语义的捕获能力，提高了微博情感分类的性能㊂这些方法会存在语义角色重叠㊁高维度文本词向量训练中难以收敛等问题，本文在ＣＮＮ的基础上将其与文本中的情感词进行结合，采用一种加入词语情感特征的ＣＮＮ模型，并结合ＢｉＬＳＴＭ来对文本情感特征进行分析，以提高分类准确率和收敛速度㊂１㊀基于情感词典的卷积神经网络文本情感分析模型１．１㊀情感词典情感词典是基于情感知识构建的有情感色彩的词语的集合，其基本原理是根据经验将广泛使用的情感词进行归纳整理，通过将待分析语句拆分为单个词汇，并完成去除停用词等工作后，与情感词典的内容进行匹配，寻找文本中词语与情感词典中匹配的情感词，结合语法规则来计算情感分数，从而判断文本的情感极性［１０］，领域情感词典在文本挖掘和自然语言处理领域发挥着重要的作用［１１］㊂目前，国内开放的情感词典主要包括知网（ＨｏｗＮｅｔ）［１２］㊁大连理工大学情感词汇本体库［１３］㊁清华大学情感词典［１４］等㊂情感词典由于需要通过专家经验进行情感特征划分，具有一定的局限性，无法走出作为 词典 的限制，不能涵盖所有情感表达形式，因此基于情感词典的文本情感分析任务，面对特定领域存在较多 新词 的情感分析时，其判断的准确率较低㊂１．２㊀词嵌入层在文本分析中，通常将词语作为处理的基本单元，而词嵌入层（ＷｏｒｄＥｍｂｅｄｄｉｎｇ）将词语转化为长度的向量表示，从早期的独热编码发展到现在主流的Ｗｏｒｄ２ｖｅｃ模型㊂Ｗｏｒｄ２ｖｅｃ模型可以解决独热编码容易造成维度灾难和词语编码缺乏相关性等问题，是通过对大规模文本数据进行训练将高维稀疏的特征向量映射为低维稠密的词向量，可以更好地表示词语之间的关系及信息㊂Ｍｉｋｏｌｏｖ等学者［１５］提出的Ｗｏｒｄ２ｖｅｃ模型有ＣＢＯＷ和Ｓｋｉｐ－ｇｒａｍ两种结构，两者都不局限于以前ｎ个词向量来预测第ｎ＋１个词向量，而是以ｎ为窗口来计算其中词的出现概率，从而可以充分考虑上下文的关联与影响，都是基于霍夫曼树来实现，其中ＣＢＯＷ模型由窗口中上下文多个词去预测中心词，而Ｓｋｉｐ－ｇｒａｍ则是由中心词去预测周围上下文的多个词㊂利用Ｗｏｒｄ２ｖｅｃ模型训练得到的词向量之间余弦距离表示词语之间的关系，余弦相似度值越大，词语间关系越大㊁余弦相似度值越小㊁词语间关系越小，这样就能较好地表示词语之间的语义相关性，一个文本字符通过词嵌入层之后转成词向量，就能成为下一步深度学习模型的有效输入信息㊂１．３㊀ＳＷＣＮＮ算法分析在对文本特征进行分析时，由于ＲＮＮ网络无法对文本句子中的局部特征进行聚焦，将会影响对文本中词语的情感特征识别，从而进一步引入了卷积神经网络㊂ＣＮＮ是一种常用的深度学习模型，是通过多维的卷积核可以获取信息对象不同层次的多维特征，再通过池化操作来取得局部的关键信息㊂由于ＣＮＮ的卷积核具有局部特征提取功能，因此也适合应用在自然语言处理领域，并在文本的上下文信息获取上具有天然的优势，卷积神经网络能够提取不同粒度的短文本特征，因此能有效提取到关键的情感信息［１６］㊂陈珂等学者［１７］在ＣＮＮ的基础上将其与文本中的情感词进行结合，提出一种结合情感词向量的ＣＮＮ模型（ＳｅｎｔｉｍｅｎｔＷｏｒｄｓＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＳＷＣＮＮ）来对文本情感特征进行分析㊂为此，将情感词的词义特征作为文本句子的特征输入矩阵，并利用不同的输入通道来接收文本句子中不同情感语义特征等信息的组合，使文本数据在训练时能够感知到更多的情感语义特征信息，提高对文本句子中的情感特性进行有效识别㊂对于长度为ｎ的句子Ｓ＝ｗ１，ｗ２， ，ｗｎ，其中ｗｎ为第ｎ个词经过词嵌入层转换后输出的词向量㊂首先，将该词向量ｗｉ根据情感词典词映射为多维的情感特征向量ｔａｇｉ，从而获得情感特征向量矩阵ＥɪＲｍˑ｜Ｖ｜，ｔａｇｉɪＲｍ，同时也要对否定词和程度副词进行标注与映射，进而对句子的情感向量进行正确表示㊂因此，对于一个具有ｎ个词语的句子，其特征表示为：ｅ１：ｎ＝ｅ１ ｅ２ ｅｎɪＲｋ（１）６７２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀ｔａｇ１：ｎ＝ｔａｇ１ ｔａｇ２ ｔａｇｎ，ｔａｇｉɪＲｍ（２）㊀㊀其中，ｅ是句子中的词向量，ｔａｇ是情感特征向量㊂进一步使用拼接操作形成ＣＮＮ层的输入特征矩阵ｘɪＲｍ＋ｋ作为卷积神经网络的输入：ｘ＝ｅ ｔａｇ（３）㊀㊀其中， 表示拼接操作㊂在本研究中，句子输入的最大长度为ｍａｘｌｅｎ，若长度小于ｍａｘｌｅｎ则用０向量补全㊂在卷积层中，若对不同卷积核的输入矩阵进行局部特征提取，可将长度为ｈ的卷积核句子分为｛ｘ０：ｈ－１，ｘ１：ｈ， ，ｘｉ：ｉ＋ｈ－１， ，ｘｎ－ｈ＋１：ｎ｝，然后对所获得的分量进行卷积操作，从而获得文本句子的情感卷积特征图：Ｃ＝ｃ１，ｃ２， ，ｃｎ－ｈ＋１()（４）㊀㊀其中，ｃｉ表示利用分量ｘｉ：ｉ＋ｈ－１进行卷积操作所提取获得的文本情感语义特征信息，见下式：ｃｉ＝ｒｅｌｕＷ㊃ｘｉ：ｉ＋ｈ－１＋ｂ()（５）㊀㊀其中，ＷɪＲｈˑ（ｍ＋ｋ）表示卷积核权重，ｂɪＲ表示卷积核偏置㊂而后，在卷积神经网络的池化层中，利用了Ｍａｘ－Ｏｖｅｒ－ＴｉｍｅＰｏｏｌｉｎｇ方法对文本情感语义特征进行采样，则所提取的特征信息如下：ｃ＾＝ｍａｘＣ{}（６）㊀㊀其中，ｃ＾表示利用一个卷积核进行采样后所获得的结果，对于ｋ个卷积核采样得到的特征信息可以表示为：Ｃ＾＝ｃ＾１，ｃ＾２， ，ｃ＾ｋ()（７）㊀㊀最后，将ＳＷＣＮＮ算法中上述池化层所获得的文本情感语义特征等相关信息作为全连接层的输入，得到分类结果具体如式（８）所示：ｙ＝ｓｏｆｔｍａｘＷｆ㊃Ｃ＾＋ｂｆ()（８）㊀㊀其中，ｂｆɪＲ表示全连接层的偏置；ＷｆɪＲｋ表示全连接层权重；ｙ是输出结果㊂２㊀基于ＳＷＣＮＮ和ＢｉＬＳＴＭ的文本情感预测模型分析２．１㊀ＢｉＬＳＴＭ算法分析对于文本句子的情感语义识别，在将一个句子通过词嵌入层转为词向量Ｓ＝ｗ１，ｗ２， ，ｗｎ后，可以将文本语句Ｓ中所包括的情感语义及角色认作一个切分集，记为Ｒ＝｛ｒ１，ｒ２， ，ｒｍ｝，每一个切分ｒｊ对应一个本文情感语义角色［１７－１８］㊂这样一来，文本中的情感语义角色识别与处理又可看作针对句子Ｓ＝ｗ１，ｗ２， ，ｗｎ进行情感识别分析，最终自动获得切分集Ｒ＝｛ｒ１，ｒ２， ，ｒｍ｝㊂对上述序列切分问题的处理，通过引入文本语句的序列标记集合，最终将其转化为序列标注与识别类问题㊂本研究将文本框架语义识别问题形式化描述为：对于一条句子Ｓ＝ｗ１，ｗ２， ，ｗｎ，给定文本句子中的目标词ｗｔ以及其所属的情感框架ｆｗｔ，并将句子中的每个词标记一个合适的标签ｔｉ，ｔｉɪ｛Ｂ，Ｉ，Ｏ｝㊂其中， Ｂ 指一个标注单元中的第一个词； Ｉ 指该词属于一个标注单元中的中间词或结束词，表示该标注单元的延续； Ｏ 指该词不属于任何一个标注单元㊂这样，对于一个标记序列Ｔ＝ｔ１，ｔ２， ，ｔｎ，语义角色识别任务转化后可得到如式（９）的一个序列优化问题：Ｔ∗＝ａｒｇｍａｘＰ（Ｔ＝ｔ１，ｔ２， ，ｔｎ｜Ｓ＝ｗ１，ｗ２， ，ｗｎ，ｆｗｔ）（９）㊀㊀其中，Ｔ∗表示一个可对文本句子的语义角色信息进行还原的合理序列㊂针对该文本的情感语义识别优化问题，传统的方法是使用ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）㊁ＣＲＦ（ＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍＦｉｅｌｄ）等统计机器学习算法来对式（９）的条件概率进行求解㊂但这些方法存在对特征流程严重依赖㊁需人工构建复杂的特征以及成本过高等问题㊂随着深度学习算法在众多领域得到广泛应用，众多人工神经网络算法在自然语言的情感语义角色标注任务上取得了极大进展㊂其中，ＢｉＬＳＴＭ（ＢｉｄｉｒｅｃｔｉｏｎａｌＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ）作为循环神经网络的一种改进算法，在自然语言处理领域取得了较好的应用效果㊂ＬＳＴＭ算法是ＲＮＮ算法的变体，能解决ＲＮＮ的梯度消失问题，更重要的是相对于ＲＮＮ，增加了３个特殊的门：输入门（ＩｎｐｕｔＧａｔｅ）㊁输出门（ＯｕｔｐｕｔＧａｔｅ）和遗忘门（ＦｏｒｇｅｔＧａｔｅ），这样其记忆单元具有了保存㊁更新和重置功能，以及兼顾长距离历史信息的能力㊂应用在文本信息处理中，可以有效提取上下文语义信息，其单元结构图如图１所示㊂ＬＳＴＭ的更新公式为：ｉｔ＝σ（Ｗｉ［ｈｔ－１，ｘｔ］＋ｂｉ）（１０）ｏｔ＝σ（Ｗｏ［ｈｔ－１，ｘｔ］＋ｂｏ）（１１）ｆｔ＝σ（Ｗｆ［ｈｔ－１，ｘｔ］＋ｂｆ）（１２）Ｃｔ＝ｆｔ Ｃｔ－１＋ｉｔ ｔａｎｈ（Ｗｃ［ｈｔ－１，ｘｔ］＋ｂｃ）（１３）ｈｔ＝ｏｔ ｔａｎｈ（Ｃｔ）（１４）㊀㊀图１中，σ为Ｓｉｇｍｏｉｄ激活函数，代表了门开关，ｉｔ为输入门的输出，ｏｔ为输出门的输出，ｆｔ为遗忘７７２第１１期许学添，等：基于ＳＷＣＮＮ和双向ＬＳＴＭ的文本情感特征分析方法门输出，Ｗ为对应的权重，ｂ为对应的偏置㊂t a n ht a n h输入门输出门遗忘门C t -1h t -1i ty tf to th tC tx tσσσ图１㊀ＬＳＴＭ网络结构图Ｆｉｇ．１㊀ＬＳＴＭａｌｇｏｒｉｔｈｍｓｔｒｕｃｔｕｒｅｄｉａｇｒａｍ２．２㊀算法总体框架本文基于ＳＷＣＮＮ和ＢｉＬＳＴＭ的文本情感预测模型总体框架结构如图２所示㊂其中，将句子的文本字符通过词嵌入层转为词向量，同时也对否定词和程度副词进行标注，最终通过向量化操作，将每一个词进行多维映射㊂接着，一方面输入ＢｉＬＳＴＭ网络，获取文本上下文的情感特征信息，另一方面利用情感词典，将词向量转为情感特征向量，与词向量拼接为ＳＷＣＮＮ的输入特征矩阵，再通过ＣＮＮ层的卷积核获取句子局部的多维度情感特征，随后将ＢｉＬＳＴＭ和ＳＷＣＮＮ网络的输出特征进行融合，再输入全连接神经网络，最后通过Ｓｏｆｔｍａｘ层输出句子的情感分类㊂B i L S T MB i L S T M双向长短期记忆神经网络w o r d 2v e c情感词典转换、向量拼接w 1w 2w 3w n…t a g 1蜜w 1t a g 2蜜w 2t a g 3蜜w 3t a g n 蜜w nt a gw卷积神经网络C N NC N N情感分类全连接层和S o f t m a x 分类图２㊀基于ＳＷＣＮＮ和ＢｉＬＳＴＭ的文本情感预测模型Ｆｉｇ．２㊀ＴｅｘｔｅｍｏｔｉｏｎｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎＳＷＣＮＮａｎｄＢｉＬＳＴＭ３㊀实验结果与分析３．１㊀实验数据与环境本文采用第二十六届全国信息检索学术会议评测大赛提供的疫情期间网民情绪数据集（ｈｔｔｐｓ：／／ｗｗｗ．ｄａｔａｆｏｕｎｔａｉｎ．ｃｎ／ｃｏｍｐｅｔｉｔｉｏｎｓ／４２３／ｄａｔａｓｅｔｓ）进行测试，该数据集是２０２０年１月１日至２０２０年２月２０日期间根据与 新冠肺炎 相关的２３０个主题关键词所采集的数据，其中１０万条已经过人工标注（积极㊁中性和消极）的文本数据，以７ʒ３划分为训练数据集和测试数据集，并保证２个数据集中每类数据的比例保持一致㊂本研究所构建模型算法的超参数如下：更新模型参数为ｍｉｎｉ－ｂａｔｃｈ梯度下降算法，ｂａｔｃｈ－ｓｉｚｅ为１５０，学习率衰减系数为０．０５，优化器为Ａｄａｍ，模型训练时使用ｄｒｏｐｏｕｔ方法，ｄｒｏｐｏｕｔ－ｒａｔｅ为０．５；迭代周期为３０次㊂具体仿真实验操作系统为Ｌｉｎｕｘ６４ｂｉｔ，Ｐｙｔｈｏｎ３．６．１版本，开发平台为ＰｙＣｈａｒｍ；ＣＰＵ为Ｉｎｔｅｌｃｏｒｅｉ７－８７００＠４．２ＧＨｚ８核，内存为Ｋｉｎｇｓｔｏｎｄｄｒ４２４００ＭＨｚ１６Ｇ，ＧＰＵ为ＮｖｉｄｉａＧｅＦｏｒｃｅ２０８０８Ｇ㊂３．２㊀ＳＷＣＮＮ模型参数分析对于ＳＷＣＮＮ模型，卷积核的尺寸决定了每次卷积读取的单词长度，也即局部特征提取的尺度，而情感向量和词向量的长度决定了卷积核的长度，直接影响了模型的训练速度和识别准确率（见表１）㊂当情感向量长度为５，词向量长度为１５０，卷积核为（２，３，４）时，ＳＷＣＮＮ模型可以取得较高的识别准确率㊂８７２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀表１㊀ＳＷＣＮＮ模型参数分析Ｔａｂ．１㊀ＳＷＣＮＮｍｏｄｅｌｐａｒａｍｅｔｅｒａｎａｌｙｓｉｓ卷积核４１００１５０２００５１００１５０２００６１００１５０２００（２，３，４）０．７９９０．８２９０．８３１０．８２３０．８４１０．８３９０．８１８０．８３５０．８２５（３，４，５）０．８１３０．８３５０．８２５０．８２８０．８３９０．８３１０．８１１０．８１４０．８０１（４，５，６）０．８０１０．８０７０．７９９０．８０３０．８１１０．８１２０．７８５０．７９７０．７６５３．３㊀实验对比与分析在对本研究算法模型的性能分析中，与相关领域其他学者应用的算法进行了比较，分别选取ＣＮＮ［５］㊁ＲＮＮ［１９］㊁ＢｉＬＳＴＭ［９］㊁ＳＷＣＮＮ［１７］㊁ＣＮＮ＋ＢｉＬＳＴＭ［２０］和ＳＷＣＮＮ＋ＢｉＬＳＴＭ（本文）进行对比分析㊂情感文本分析识别正确率分别利用Ａｃｃｕｒａｃｙ㊁Ｐｒｅｃｉｓｉｏｎ㊁Ｒｅｃａｌｌ及Ｆ１值等指标进行分析，结果见表２㊂表２㊀算法性能比较Ｔａｂ．２㊀Ａｌｇｏｒｉｔｈｍｐｅｒｆｏｒｍａｎｃｅｃｏｍｐａｒｉｓｏｎ％算法ＡｃｃｕｒａｃｙＰｒｅｃｉｓｉｏｎＲｅｃａｌｌＦ１ＣＮＮ７９．０５６７．８９６０．１２６０．４５ＲＮＮ８１．０２７７．９３６５．１９６５．６５ＢｉＬＳＴＭ８５．５８７９．０２６８．１７６７．１２ＣＮＮ＋ＢｉＬＳＴＭ８７．４２８３．６１７１．０５７１．８７ＳＷＣＮＮ８４．１７７８．２８６７．４４６６．１９ＳＷＣＮＮ＋ＢｉＬＳＴＭ８９．２３８８．５７７４．５８７３．０９㊀㊀由表１可发现本研究的识别精确度达到８９．２３％，相比其他学者提出的模型算法在准确率上至少提高１．９５％；进一步从Ｐｒｅｃｉｓｉｏｎ㊁Ｒｅｃａｌｌ及Ｆ１三个角度对比，可发现本研究模型算法的Ｐｒｅｃｉｓｉｏｎ㊁Ｒｅｃａｌｌ及Ｆ１分别为８８．５７％㊁７４．５８％及７３．０９％，与其他算法相比，明显本研究模型算法的Ｐｒｅｃｉｓｉｏｎ㊁Ｒｅｃａｌｌ及Ｆ１值更高㊂由此可见，在文本情感分析领域，相比其他深度学习模型算法，本研究所构建基于ＳＷＣＮＮ和ＢｉＬＳＴＭ的文本情感分析模型的识别准确度更优㊂图３为几种模型在训练过程中的校验集准确率变化情况㊂由图３可以看出，传统的ＣＮＮ㊁ＲＮＮ和ＢｉＬＳＴＭ和本文提出的ＳＷＣＮＮ都有较大的波动性和收敛速度也较慢，ＣＮＮ＋ＢｉＬＳＴＭ由于兼顾了局部的语义信息和上下文信息，具有较快的收敛速度和较高的准确率，而本文所提出的ＳＷＣＮＮ＋ＢｉＬＳＴＭ，将ＣＮＮ＋ＢｉＬＳＴＭ模型中的ＣＮＮ升级为ＳＷＣＮＮ，同时考虑了词向量的情感特征信息，因此训练过程稳定而且具有最快的收敛速度和最佳的准确率㊂C N NR N NB i L S T MS WC N NC N N+B i L S T MS WC N N+B i L S T M 908580757065605550151015202530迭代次数准确率/%图３㊀验证集准确率变化曲线Ｆｉｇ．３㊀Ａｃｃｕｒａｃｙｃｈａｎｇｅｃｕｒｖｅｏｆｖｅｒｉｆｉｃａｔｉｏｎｓｅｔ４㊀结束语本文提出了一种结合情感词的卷积神经网络算法以获取句子的局部情感特征，并与双向长短期记忆神经网络所获取的全局情感特征进行融合，构建了基于ＳＷＣＮＮ与ＢｉＬＳＴＭ结合的文本情感预测模型，该模型充分考虑了词语的情感属性㊁位置信息等局部特征，也兼顾了上下文词语的全局关联信息，因此具有较高的识别准确率与较强的泛化性能㊂经实验分析表明，与其他模型算法相比，本研究模型的情感识别精确度达到８９．２３％，训练过程更加平稳㊁且具有更快的收敛速度，为文本情感识别提供了一种更优的思路与方法㊂参考文献［１］丁兆云，贾焰，周斌．微博数据挖掘研究综述［Ｊ］．计算机研究与发展，２０１４，５１（４）：６９１－７０６．［２］徐戈，王厚峰．自然语言处理中主题模型的发展［Ｊ］．计算机学报，２０１１，３４（８）：１４２３－１４３６．［３］刘志明，刘鲁．基于机器学习的中文微博情感分类实证研究［Ｊ］．计算机工程与应用，２０１２，４８（１）：１－４．［４］ＭＡＮＡＬＭ，ＮＡＺＬＩＡＯ．ＱｕｅｓｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｂａｓｅｄｏｎＢｌｏｏｍ ｓｔａｘｏｎｏｍｙｃｏｇｎｉｔｉｖｅｄｏｍａｉｎｕｓｉｎｇｍｏｄｉｆｉｅｄＴＦＩＤＦａｎｄｗｏｒｄ２ｖｅｃ［Ｊ］．ＰｌｏｓＯｎｅ，２０２０，１５（３）：ｅ０２３０４４２．［５］ＫＩＭＹ．Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｎｔｅｎｃｅｃｌａｓｓｉｆｉｃａｔｉｏｎ９７２第１１期许学添，等：基于ＳＷＣＮＮ和双向ＬＳＴＭ的文本情感特征分析方法［Ｊ］．ＥｐｒｉｎｔＡｒｘｉｖ，２０１４：１７４６－１７５１．［６］冯兴杰，张志伟，史金钏．基于卷积神经网络和注意力模型的文本情感分析［Ｊ］．计算机应用研究，２０１８，３５（５）：１４３４－１４３６．［７］成璐．基于注意力机制的双向ＬＳＴＭ模型在中文商品评论情感分类中的研究［Ｊ］．软件工程，２０１７，２０（１１）：４－６．［８］ＹＵＡＮＨｅｊｉｎ，ＺＨＡＮＧＸｕ，ＮＩＵＷｅｉｈｕａ，ｅｔａｌ．Ｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｂａｓｅｄｏｎｍｕｌｔｉ－ｃｈａｎｎｅｌｃｏｎｖｏｌｕｔｉｏｎａｎｄｂｉｄｉｒｅｃｔｉｏｎａｌＧＲＵｗｉｔｈａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ［Ｊ］．ＪｏｕｒｎａｌｏｆＣｈｉｎｅｓｅＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ，２０１９，３３（１０）：１０９－１１８．［９］ＷＡＮＧＹｅｑｕａｎ，ＨＵＡＮＧＭｉｎｌｉｅ，ＺＨＵＸｉａｎｙａｎ，ｅｔａｌ．Ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄＬＳＴＭｆｏｒａｓｐｅｃｔ－ｌｅｖｅｌｓｅｎｔｉｍｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１６ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ．Ａｕｓｔｉｎ，Ｔｅｘａｓ，ＵＳＡ：ｄｂｌｐ，２０１６：６０６－６１５．［１０］王婷，杨文忠．文本情感分析方法研究综述［Ｊ］．计算机工程与应用，２０２１，５７（１２）：１１－２４．［１１］杨秀璋，郭明镇，候红涛，等．融合情感词典的改进ＢｉＬＳＴＭ－ＣＮＮ＋Ａｔｔｅｎｔｉｏｎ情感分类算法［Ｊ］．科学技术与工程，２０２２，２２（２０）：８７６１－８７７０．［１２］刘阳光，岂凡超，刘知远，等．ＨｏｗＮｅｔ义原标注一致性检验方法研究［Ｊ］．中文信息学报，２０２１，３５（４）：２３－３４．［１３］安璐，吴林．融合主题与情感特征的突发事件微博舆情演化分析［Ｊ］．图书情报工作，２０１７，６１（１５）：１２０－１２９．［１４］胡家珩，岑咏华，吴承尧．基于深度学习的领域情感词典自动构建 以金融领域为例［Ｊ］．数据分析与知识发现，２０１８，２（１０）：９５－１０２．［１５］ＭＩＫＯＬＯＶＥＴ，ＳＵＴＳＫＥＶＥＲＩ，ＣＨＥＮＫ，ｅｔａｌ．Ｄｉｓｔｒｉｂｕｔｅｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｏｆｗｏｒｄｓａｎｄｐｈｒａｓｅｓａｎｄｔｈｅｉｒｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．ＬａｋｅＴａｈｏｅ，Ｎｅｖａｄａ：ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓＩｎｃ．，２０１３：３１１１－３１１９．［１６］ＺＨＡＯＪｉａｎｑｉａｎｇ，ＧＵＩＸｉａｏｌｉｎ，ＺＨＡＮＧＸｕｅｊｕｎ．Ｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｔｗｉｔｔｅｒｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０１８，６：２３２５３－２３２６０．［１７］陈珂，梁斌，柯文德，等．基于多通道卷积神经网络的中文微博情感分析［Ｊ］．计算机研究与发展，２０１８，５５（５）：９４５－９５７．［１８］王正成，李丹丹．基于词向量和情感本体的短文本情感分类［Ｊ］．浙江理工大学学报（社会科学版），２０１８，４０（１）：３３－３８．［１９］ＳＣＨＭＩＤＨＵＢＥＲ，Ｊ．Ｄｅｅｐｌｅａｒｎｉｎｇｉｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ：ａｎｏｖｅｒｖｉｅｗ［Ｊ］．ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２０１５，６１：８５－１１７．［２０］ＭＩＮＡＥＥＳ，ＡＺＩＭＩＥ，ＡＤＢＯＬＲＡＳＨＩＤＩＡＡ．Ｄｅｅｐ－Ｓｅｎｔｉｍｅｎｔ：ＳｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｕｓｉｎｇｅｎｓｅｍｂｌｅｏｆＣＮＮａｎｄＢｉ－ＬＳＴＭｍｏｄｅｌｓ［Ｊ］．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１９０４．０４２０６，２０１９．０８２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀。
基于双层CNN-LSTM的语音情感识别研究
基于双层CNN-LSTM的语音情感识别研究基于双层CNN-LSTM的语音情感识别研究引言：随着人工智能的发展，情感分析成为了一项热门的研究领域。
传统的情感识别主要依赖于文本数据，但是随着语音技术的进步，越来越多的语音数据被用于情感分析。
因此，研究人员开始关注如何通过机器学习算法实现语音情感识别。
本文将基于双层CNN-LSTM的方法，探索语音情感识别的研究。
一、研究背景近年来，情感分析在社交媒体、市场调研、用户体验等诸多领域都起到了重要的作用。
而基于文本的情感分析已经取得了相对成熟的成果，如基于词袋法的情感分析算法。
然而，随着智能手机的广泛普及，语音数据越来越丰富，而文本数据无法完整表达人们情感的复杂性。
因此，通过语音分析来识别人类情感成为了一种有前景的研究方向。
二、相关工作综述在语音情感识别领域，研究人员已经提出了多种算法。
其中，CNN（卷积神经网络）和LSTM（长短期记忆网络）是两种常用的神经网络结构。
CNN主要用于特征提取，而LSTM则处理时序信息。
然而，由于语音数据的时序特性和频谱特征，单独使用CNN和LSTM并不能充分提取语音情感的信息。
因此，结合CNN和LSTM的双层结构被广泛用于语音情感识别。
三、双层CNN-LSTM模型本文提出的双层CNN-LSTM模型主要分为两个部分：特征提取和情感分类。
首先，对语音数据进行预处理，提取出频谱特征。
然后，通过第一层CNN提取局部特征，将特征图作为输入送入第二层LSTM进行时序建模。
最后，通过全连接层将LSTM输出转化为情感分类结果。
四、实验与结果分析为了评估双层CNN-LSTM模型的性能，我们采用了公开的语音情感数据集进行实验。
实验结果显示，该模型在情感识别上取得了优秀的性能，正确率达到了90%以上。
与其他单层模型相比，双层CNN-LSTM模型能够更全面地捕捉语音情感的信息。
五、讨论与展望双层CNN-LSTM模型在情感识别上取得了较好的效果，但仍有一些不足之处。
双向LSTM模型在情感分析中的应用
双向LSTM模型在情感分析中的应用情感分析是目前自然语言处理领域研究最为活跃的领域之一。
它可以帮助人们识别和理解文本中表达的情感色彩，是许多应用领域，如广告营销、品牌管理、舆情监测等的重要基础。
在情感分析中，双向LSTM模型是一种非常有效的方法。
LSTM全称是Long Short-Term Memory，是一种能够处理序列化数据的深度学习模型。
双向LSTM模型则是在LSTM的基础上增加了反向传播的层次，使得模型能够不仅考虑当前的输入，还能够利用后续的输入信息，从而提升了模型的效果。
在情感分析中，双向LSTM模型主要应用在文本分类问题上。
文本分类问题是指对一篇文章、一段话或一个句子进行分类，常常被用于情感分析中。
如果我们想要对一篇文章进行情感分析，首先需要对这篇文章进行分词，使得整篇文章能够被表示成一个一个的词语。
然后，我们需要将这些词语转换成向量表示，这样才能够被双向LSTM模型所处理。
在这一步骤中，我们可以使用词袋模型或者词嵌入模型来获取每个词语的向量表示。
在获取了每个词语的向量表示之后，我们还需要将这些向量进行一定的组合，以便能够被传入到双向LSTM模型中进行处理。
常见的方法包括将所有向量相加、将所有向量相乘、将向量进行平均等等。
这些方法均能够将向量表示转换成一个固定大小的向量，从而方便后续的处理。
接着，我们将这个向量输入到双向LSTM模型当中，通过学习输入数据的序列化特征，能够识别出情感上的一些表达方式。
模型输出的结果是一个长度为N的向量，其中N表示情感类别的个数。
我们可以选择输出向量中最大的值对应的情感类别作为最终的分类结果。
总体而言，双向LSTM模型在情感分析中的应用具有良好的效果。
它能够在处理文本的序列化特征时不损失信息，能够从多个角度进行学习，提高了判别力和鲁棒性。
随着深度学习技术不断的发展和推广，相信这一模型在情感分析领域会有更加广泛和深入的应用。
用LSTM进行情感分析原理
用LSTM进行情感分析原理LSTM（Long Short-Term Memory，长短期记忆）是一种循环神经网络（Recurrent Neural Network， RNN）的变种，专门用于处理和学习长依赖关系的序列数据。
情感分析是一种自然语言处理（Natural Language Processing，NLP）任务，旨在确定给定文本的情感极性，即文本是正面、负面还是中性的。
LSTM在情感分析任务中具有许多优势。
首先，情感分析是一个序列任务，因为文本由多个词组成，这些词之间存在上下文关系。
LSTM适用于处理这些依赖关系，并能够在文本中捕获长期的上下文信息。
其次，由于情感分析任务通常包含大量的文本数据，LSTM可以通过其内部的记忆单元来处理长序列，并能够提取出关键的情感特征。
此外，LSTM还具有可训练的参数，可以从数据中学习情感表达方式。
LSTM的核心思想是通过使用称为“门”的结构来控制和管理信息的流动。
LSTM单元包括输入门（input gate）、遗忘门（forget gate）和输出门（output gate）等部分，通过这些门结构实现对信息的选择性存储和遗忘。
输入门决定了哪些信息将进入LSTM单元。
输入门会根据当前输入和上一个时刻的隐藏状态，计算一个介于0和1之间的值，表示每个输入的重要程度。
这些值将用于加权相应的输入特征，以确定哪些信息是有用的，应该被传递到下一个步骤。
遗忘门用于控制需要从LSTM单元中删除的信息。
遗忘门的输出也是介于0和1之间的值，表示了需要保留的信息和需要丢弃的信息的比例。
这个比例将决定上一时刻的记忆状态在当前时刻的保留程度。
除了输入门和遗忘门，LSTM还具有输出门。
输出门决定了在当前时刻需要输出到下一时刻的记忆状态。
输出门的输出是介于0和1之间的值，表示了隐藏状态中有用的信息的比例。
LSTM还包括一个记忆单元（cell state），用于存储和传递上下文信息。
记忆单元可以看作是LSTM的长期记忆，可以在不同的时间步长中传递和更新。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
摘要:随着信息技术的飞速发展ꎬ智慧政务的建设在中国如火如荼地展开ꎮ 为了更好地服务社会ꎬ获取舆论的情感倾向 变得至关重要ꎮ 然而ꎬ由于媒体数据的多样性ꎬ例如讨论话题、文本正文、正文回复以及文本字数限制等原因ꎬ人们不仅 要对文本正文进行分析ꎬ还必须对文本回复、讨论话题等多样文本信息ꎬ以及诸如表情符号、社交关系等因素进行建模ꎮ 遗憾的是ꎬ很少有研究工作针对推文文本的回复及多媒体信息进行建模ꎮ 本文针对推文正文回复、话题以及多媒体信 息ꎬ提出一种新的双向长短时记忆网络 ＣＢｉ￣ＬＳＴＭ ( Ｃｏｎｔｅｎｔ Ｂｉ￣ＬＳＴＭ) 对舆论进行情感分析ꎮ 实验表明ꎬ文本信息和多媒 体信息的融合能显著提高情感分析的准确性ꎮ 关键词:多媒体信息ꎻ 情感分析ꎻ 双向长短记忆网络 中图分类号:ＴＰ３９１ 文献标识码:Ａ ｄｏｉ: １０. ３９６９ / ｊ. ｉｓｓｎ. １００６￣２４７５. ２０１９. ０２. ０１５
正文的相关信息进行建模ꎬ例如微博的话题、回 复信息、微博的特殊语言表达( 例如表情符号、＠ 符 号提示发布人关注等) 等[４] ꎬ甚至还要考虑文本的长 程相关性ꎬ例如微博正文的评论历史ꎬ这些信息可以 被当做正文发布者与评论者之间的对话ꎮ 然而ꎬ这些 信息在过去的研究过程中很少被学者们关注ꎮ
Ｓｅｎｔｉｍｅｎｔ Ａｎａｌｙｓｉｓ Ｂａｓｅｄ ｏｎ Ｂｉ￣ＬＳＴＭ ｗｉｔｈ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｆｏｒｍａｔｉｏｎ
ＤＩＮＧ Ｙａｎ１ꎬ２ ꎬ ＢＡＯ Ｙａｎ１ꎬ２ ꎬ ＨＵ Ｘｉａｏ１ꎬ２
(１. Ｎａｎｊｉｎｇ Ｚｈｏｎｇｘｉｎｇ Ｎｅｗ Ｓｏｆｔｗａｒｅ Ｃｏ. ꎬ ＬＴＤ. ꎬ Ｎａｎｊｉｎｇ ２１００００ꎬ Ｃｈｉｎａꎻ ２. Ｊｉａｎｇｓｕ Ｋｅｙ Ｌａｂ ｏｆ Ｂｉｇ Ｄａｔａ Ｓｔｏｒａｇｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎꎬ Ｎａｎｊｉｎｇ ２１００００ꎬ Ｃｈｉｎａ)
０ 引 言
随着信息技术的飞速发展ꎬ 社交媒体 ( 例如微 博、微信等) 已经发展成为人们线上表达观点、阐述 想法的主要工具[１￣３] ꎮ 因此ꎬ针对诸如微博内容信息 的情感分析工作变得越来越重要ꎮ 微博作为新媒体 的主要载体ꎬ已经吸引了一大批学者进行探索ꎬ情感 分析研究是其中一项特别流行且充满挑战的工作ꎮ 但是ꎬ因为社交媒体数据的表现形式是多样的ꎬ例如 文本短、表达口语化、网络词汇多、评论信息多样等ꎬ 使得对此类文本信息的情感分析研究更具挑战性ꎮ 显而易见ꎬ对微博信息的情感分析研究需要针对微博
２０１９ 年第 ２ 期 文章编号:１００６￣２４７５(２０１９)０２￣００８８￣０５
计算机与现代化 ＪＩＳＵＡＮＪＩ ＹＵ ＸＩＡＮＤＡＩＨＵＡ
总第 ２８２ 期
基于多媒体信息的双向 ＬＳＴＭ 情感分析方法
丁 岩１ꎬ２ ꎬ鲍 焱１ꎬ２ ꎬ胡 晓１ꎬ２
(１. 南京中兴新软件有限责任公司ꎬ江苏 南京 ２１００００ꎻ ２. 江苏省大数据存储及应用重点实验室ꎬ江苏 南京 ２１００００)
本文主要研究基于长程文本关系和多媒体文本 特征的中文微博情感分析ꎮ 本文针对推文正文回复、 话题以及多媒体信息ꎬ提出一种新的双向长短时记忆 网络对舆论进行情感分析ꎬ综合考虑话题信息、微博 自身特性、正文回复的相关性等因素ꎬ采用双向长短
收稿日期:２０１８￣０７￣０２ꎻ 修回日期:２０１８￣０７￣１５ 作者简介:丁岩(１９７０￣) ꎬ男ꎬ安徽怀宁人ꎬ高级工程师ꎬ硕士ꎬ研究方向:分布式数据库ꎬ大数据与人工智能技术ꎬＥ￣ｍａｉｌ: ｄｉｎｇ. ｙａｎ２＠ ｚｔｅ. ｃｏｍ. ｃｎꎻ 鲍焱(１９７８￣) ꎬ男ꎬ学士ꎬ研究方向:大数据与人工智能ꎬＥ￣ｍａｉｌ: ｂａｏｙａｎ＠ ｚｔｅ. ｃｏｍ. ｃｎꎻ 胡晓(１９９０￣) ꎬ男ꎬ硕 士ꎬ研究方向:大数据与自然语言处理算法ꎬＥ￣ｍａｉｌ: ｈｕｘｉａｏ６４＠ ｈｏｔｍａｉｌ. ｃｏｍꎮ