基于多注意力长短时记忆的实体属性情感分析

支淑婷 李晓戈 王京博 王鹏华

摘 要：属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足;同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性;最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。

关键词：属性情感分析;多注意力机制;上下文语义特征;神经网络;自然语言处理

中图分类号： TP391.1; TP18

文献标志码：A

Abstract： Aspect sentiment analysis is a fine-grained task in sentiment classification. Concerning the problem that traditional neural network model can not accurately construct sentiment features of aspects， a Long Short-Term Memory with Multi-ATTention and Aspect Context （LSTM-MATT-AC） neural network model was proposed. Different types of attention mechanisms were added in different positions of bidirectional Long Short-Term Memory （LSTM）， and the advantage of multi-attention mechanism was fully utilized to allow the model to focus on sentiment information of specific aspects in sentence from different perspectives， which could compensate the deficiency of single attention mechanism. At the same time， combining aspect context information of bidirectional LSTM independent coding， the model could capture deeper level sentiment information and effectively distinguish sentiment polarity of different aspects. Experiments on SemEval2014 Task4 and Twitter datasets were carried out to verify the effectiveness of different attention mechanisms and independent context processing on aspect sentiment analysis. The experimental results show that the accuracy of the proposed model reaches 80.6%， 75.1% and 71.1% respectively for datasets in domain Restaurant， Laptop and Twitter. Compared with previous neural network-based sentiment analysis models， the accuracy has been further improved.

Key words： aspect sentiment analysis; multi-attention mechanism; contextual semantic feature; neural network; Natural Language Processing （NLP）

0 引言

情感分析又称观点挖掘，指利用数据挖掘和自然语言处理技术，对有情感倾向的主观性文本进行信息的处理、分析和抽取的过程[1]。属性情感分析是细粒度的情感分类任务，旨在识别给定文本中特定属性的情感倾向[2]。例如句子“Great food， but the service was dreadful”对于属性“food”是积极情感，而对于属性“service”则是消极情感。不同属性的情感倾向不仅依赖文本的上下文信息，还依赖特定属性的特征信息[3]。对于多属性文本，如果忽略属性信息，则很难准确识别文本的情感倾向。Jiang等[4]手工评估了Twitter数据集的情感分类，结果表明约40%的情感分类错误源于没有考虑属性。

近年来，深度学习技术在自然语言处理领域取得了重大突破，越来越多的研究者利用深度学习技术来解决属性情感分析问题。Qian等[5]和Socher等[6]构建了基于句法树的递归神经网络，Tai等[7]用句法树改进标准长短时记忆（Long Short-Term Memory， LSTM）网络，提出了Tree-LSTMs网络模型，都在情感分类任务中有较好的表现，但上述模型的构建依赖依存句法分析等外部知識且模型的结构相对复杂。Ruder等[8]提出的层级双向LSTM网络模型，利用不同层次的双向LSTM对输入文本进行句内和句间的特征学习，判别属性的情感极性，但该模型主要针对的是单属性句子，对多属性句子的情感识别有一定的困难。Vo等[9]和Tang等[10]将文本划分为属性、属性上文和属性下文三部分，将一个属性作为一个目标来改善属性情感分类的效果。Bahdanau等[11]将注意力机制和循环神经网络结合提高了机器翻译的准确率，随后，注意力机制在文本摘要[12]和阅读理解[13]等自然语言处理领域中都取得了很好的效果。从众多信息中选择出特定目标的关键信息，使其也成为了优化情感分类任务的有效机制。Wang等[14]提出了ATAE-LSTM（ATtention-based LSTM with Aspect Embedding）模型，在标准LSTM中加入了基于属性特征的注意力机制。Huang等[15]提出了AOA（Attention-Over-Attention）模型，将注意力机制与属性词序列结合，同时计算了aspect-to-text和text-to-aspect注意力，这些模型的提出表明了注意力机制与LSTM结合的有效性。

上述模型仅依赖内容注意力机制无法从多个角度关注属性的情感特征，同时缺乏对特定属性上下文语义信息的挖掘，为此本文提出了一种融合多注意力和属性上下文的LSTM（Long Short-Term Memory with Multi-ATTention and Aspect Context， LSTM-MATT-AC）网络模型。其中，多注意力机制包括：1）位置注意力机制。以属性为中心，计算句中其他词和属性间的相对位置关系，表示每个词对属性的影响程度。2）内容注意力机制。将属性词向量与句中其他词的特征向量通过运算获得注意力权重值，表示每个词与属性的语义关联程度。3）类别注意力机制。基于训练数据中各类别的数据量进行计算，来解决类别数据量不均衡引起的模型偏置问题。其中属性上下文部分明确区分属性的上下文，通过前向和反向LSTM独立编码属性上下文语义特征。本文模型从不同的角度学习了多特征信息，更准确地生成了特定属性的情感特征向量。本文采SemEval2014 Task4的竞赛数据集[16]以及Twitter领域数据集[17]作为模型的评测数据集。

1 属性情感分析模型——LSTM-MATT-AC

本文提出了一种融合多注意力和属性上下文的LSTM（LSTM-MATT-AC）网络模型。通过三种作用在双向LSTM不同位置的注意力机制和独立编码属性上下文的处理方式来更加充分地学习特定属性的情感特征信息。如图1所示，模型LSTM-MATT-AC主要由输入层、双向LSTM层、属性内容选择层、属性上下文层、特征融合层、输出层等6部分组成。

1.1 任务定义

对于长度为n的句子s={w1，w2，…，wl，…，wr，…，wn}，其中{wl，wl+1，…，wr}表示句子中存在的某个属性，是一个单词或短语。属性情感分析任务的目标是判别句子中特定属性的情感极性。例如“Great food， but the service was dreadful”，对于属性“food”来说，情感极性是positive;而对于属性“service”来说，情感极性是negative。本文将数据集中的单词映射为低维度、连续的实值向量，也称词向量，每个单词是wi表示的词向量vi∈Rdw的词向量wi是向量、矢量吗？还是其中的某一个具体数值，请明确，所有的词向量构成了一个词向量矩阵L∈Rdw×|V|，其中：dw表示词向量的维度，|V|表示词典的大小。

1.2 模型概述

1.2.1 输入层

1.2.2 双向LSTM层

1.2.3 属性内容选择层

1.2.4 属性上下文层

1.2.5 特征融合层

1.2.6 输出层

1.3 多注意力机制概述

1.3.1 位置注意力机制

在属性级情感分析任务中，单词和属性之间的相对位置隐含着很重要的信息[18]。距离属性越近的单词通常情况下对属性的影响程度越大。图2所示的句子中，单词“Great”是属性“food”正确的情感词，同时“Great”比情感词“dreadful”距离属性“food”的相对位置更近，但对于属性“service”来说，它与正确情感词“dreadful”的相对位置和错误情感词“Great”的相对位置相同。这种现象的存在，导致简单的位置权重计算存在弊端。通过对数据集的观察后发现存在该现象的句子中往往会使用标点符号来分隔不同属性的情感表达，针对这一规律，本文提出了一种基于标点符号的权重梯级衰减算法来计算句子中单词与属性之间的相对位置权重，如算法1所示。

其中：式（10）中b=bL或bR表示属性的左右边界下标，tmax表示句子的实际长度。式（11）中countL或countR表示左右两侧标点符号的计数器值， β和γ分别是衰减控制参数。本文通过对比多次参数实验结果后设定参数β=0.2，γ=0.05。上述位置权重算法在单词和属性相对位置的基础上，考虑了标点符号的影响，计算出句子中每个单词的位置权重，有效地表示了不同单词对特定属性的影响程度。

1.3.2 内容注意力机制

在属性情感分析任务中，注意力机制通过训练学习，能够让网络模型主动关注与当前属性关系密切的数据信息，从而生成更准确的属性情感特征。例句“Great food， but the service was dreadful.”中单词“Great”与属性“food”的关系密切，而单词“dreadful”则与属性“service”的关系更密切。为了充分利用注意力机制的优势，本文引入了内容注意力机制来提升模型的效果。

1.3.3 类别注意力机制

在训练数据中，不同类别数据量的不均衡在训练过程中会引起模型的偏置问题[19]。对于待分类的句子，偏置模型会倾向于预测数据量大的情感类别，为此本文将类别注意力机制應用到模型损失函数的计算中来克服这一弊端。对于数据量偏小，模型无法充分学习情感特征导致误分类的类别，通过惩罚其损失函数，来引导模型更深层次的挖掘该类别的特征信息。本文引入平滑因子φ来增强类别注意力计算的鲁棒性。统计训练数据中各类别的数据量，通过式（14）的运算来获得不同类别的注意力权重：

其中：c表示记录了各类别数据量的列表;ci表示某个类别的数据量。本文通过对比多次参数实验结果后设定SemEval2014 Task4中Restaurant和Laptop领域φ=0，Dong等[17]文献17的作者不是Dong，请对语句进行相应调整。注意，要保证文献在正文中的依次引用顺序收集标注的Twitter领域φ=0.1。

1.4 模型训练

本文情感分析模型的训练采用端到端的反向传播算法，损失函数采用交叉熵代价函数，同时为了避免过拟合问题，加入了L2正则化。通过最小化损失函数来优化模型，完成属性级情感分类任务：

其中：yji表示句子中特定属性正确的情感类别;ji表示句子中特定属性预测的情感类别;i表示句子的索引; j表示情感类别的索引;λ表示L2正则化的权重;θ表示神经网络中的训练参数。

2 实验结果及分析

将本文模型LSTM-MATT-AC在3个不同领域的数据集上进行实验，解决属性级情感分析任务。在本文实验中，词向量采用Pennington等[20]文献20的作者不是Pennington，请对语句进行相应调整。注意，要保证文献在正文中的依次引用顺序提出的预训练Glove词向量，其中词向量维度为300维，词典的大小为1.9MB。对于未登录词，采用均匀分布U（-ε，ε）来随机初始化词向量，其中ε设置为0.01。对于单个词构成的属性，直接取相应的词向量作为属性词向量，例如“food”“staff”等;对于多个词组成的属性，取相应词向量矩阵的平均值作为属性词向量，例如“battery life”等。该情感分析模型运行在Tesla K80服务器，CentOS Linux 7.3.1611系统，运行环境为tensorflow 1.5。

2.1 实验数据

本文采用的英文数据是SemEval2014 Task4的竞赛数据集[16]和Dong等[17]收集标注的Twitter标准数据集。其中SemEval2014 Task4是国际语义评测比赛Task4的数据集，包含Restaurant和Laptop两个领域的用户评论。3个数据集的评论中共包含积极、中性和消极三种情感极性。表1给出了本文实验所用数据的统计。

2.2 实验参数设置

句子中词向量的维度、属性词向量的维度以及双向LSTM输出的特征向量连接后的维度都是300。三种注意力机制的维度和句子的长度保持一致。双向LSTM的层数设置为1。模型中所有的参数都采用均匀分布U（-ε，ε）来随机初始化值，其中ε设置为0.05。通过每个batch中25个样本的方式进行模型的训练，Adam优化算法的初始学习率为0.001，衰减率为0.95，L2正则化的权重设置为0.001。模型中的dropout设置为0.2。

2.3 实验对比

将本文提出的模型LSTM-MATT-AC和以下5种模型在3个不同领域的数据集上进行实验。

1）TD-LSTM（Target-Dependent LSTM）。Tang等[10]提出的TD-LSTM，通过前向和反向LSTM网络分别独立地编码特定属性的上下文信息，连接两个LSTM最后隐藏层输出的特征向量进行情感分类。该模型将不同的属性作为不同的目标，编码不同的属性上下文信息，改善了情感分类的效果。

2）TC-LSTM（Target-Connection LSTM）。Tang等[10]在TD-LSTM模型的基础上进行了改进。将属性词向量矩阵与句子的上下文词向量矩阵连接后作为模型的输入，能够让模型更好地学习属性的信息。

3）AT-LSTM（Attention-based LSTM）。Wang等[14]在标准LSTM中引入了基于属性词向量的注意力机制，能够让模型选择性关注与当前属性关联密切的内容信息，从而生成更准确的属性情感特征向量。

4）ATAE-LSTM（ATtention-based LSTM with Aspect Embedding）。Wang等[14]在AT-LSTM输入层引入了属性连接组件，将属性词向量连接到输入词向量中，让模型能够在双向LSTM编码过程中学习更多与属性相关的语义特征信息。

5）AOA-LSTM（Attention-Over-Attention LSTM）。Huang等[15]提出的AOA-LSTM模型，通过双向LSTM分别构建了句子和属性的特征向量矩阵，之后计算了基于属性的句子注意力矩阵（target-to-text）和基于句子的属性注意力矩阵（text-to-target），最后将两个注意力矩阵进行叠加融合来构建特定属性的情感特征向量。该模型将属性序列化处理，通过上下文编码和注意力计算让模型能够关注属性序列中的重要信息，从而辅助句子向量挖掘更深层次的情感特征信息。

2.4 结果分析

本文采用准确率来评估属性情感分类的效果[21]，定义如式（16）所示：

其中：numcor表示情感分类正确预测的句子数;numall表示数据集总共的句子数。评估指标acc表示模型在数据集中预测正确情感类别的百分比。准确率acc越高，模型的性能越好。

本文将6种模型在SemEval2014 Task4的Restaurant和Laptop数据集[16]以及Dong等[17]收集标注的Twitter数据集上进行训练。表2给出了6种模型在3个不同领域数据集上情感极性三分类结果。

从表2的结果可以看出，对于三分类任务，本文模型LSTM-MATT-AC在3个不同领域的数据集上都取得了不错的情感分类效果。模型TC-LSTM和ATAE-LSTM的分类效果分别优于模型TD-LSTM和AT-LSTM。两组实验结果的对比说明，在模型的输入层引入属性词向量连接组件，能够更好地挖掘特定属性和不用单词之间的语义关联信息，帮助模型更准确地学习特定属性的情感特征。在Restaurant和Twitter两个不同领域的数据集上，模型ATAE-LSTM分別比模型TC-LSTM的分类准确率提高了1.18%和0.15%，验证了注意力机制在属性情感分类任务中的有效性，但由于模型ATAE-LSTM仅在单向LSTM中引入了注意力机制，所以情感分类的准确率比模型TC-LSTM的提升幅度不大。

模型LSTM-MATT-AC在输入层引入属性词向量连接组件的同时，在句子的词向量矩阵中引入了位置注意力机制，将位置加权的词向量矩阵与属性词向量矩阵进行连接，让模型能够更好地关注不同位置的单词对属性的影响程度。相比模型ATAE-LSTM采用单向LSTM，本文模型通过采用双向LSTM能够更好地学习句子的上下文特征信息;同时，属性内容注意力机制的引入让模型能够选择性地关注与属性语义内容关联密切的数据信息，从而构建更准确的属性情感特征。在Restaurant、Laptop和Twitter三个不同领域的数据集上，本文提出的模型分别比ATAE-LSTM的情感分类准确率提高了4.4%、9.32%和4.41%，验证了模型LSTM-MATT-AC在不同领域数据集上属性情感分类的有效性。

对比本文提出的模型LSTM-MATT-AC和Huang等[1215]文献12的作者不是Huang，请对语句进行相应调整。注意，要保证文献在正文中的依次引用顺序提出的模型AOA-LSTM可以看出，在Restaurant数据集上，AOA-LSTM的分类准确率高于LSTM-MATT-AC。这说明将属性序列化处理，通过上下文编码和注意力计算等方式能够让模型更深层次地挖掘属性序列中的重要信息，而本文模型仅仅对属性词序列进行了平均运算，但在Laptop数据集上，本文模型的分类效果却优于AOA-LSTM模型。对比Restaurant和Laptop两个数据集后发现，Restaurant数据集中存在较长序列的属性，比如“chocolate souffle with rasberry mint sorbet”和“lamb glazed with balsamic vinegar”等，而Laptop数据集中属性词序列的单词个数控制在4个以内。这说明在长序列属性比例大的数据集中，AOA-LSTM模型的情感分类效果优于LSTM-MATT-AC模型，但在整体属性词序列较短的数据集上，本文提出的模型存在一定的优勢，能够取得较高的情感分类准确率。

为了进一步比较本文提出的模型LSTM-MATT-AC和其他模型在属性级情感分析任务中的分类效果，本文只保留了3个数据集中积极和消极的样本数据来进行二分类的实验，实验结果如表3所示。

从表3的结果可以看出，除去中性数据后，5个模型情感分类的准确率都有了明显的提升。通过观察3个不同领域数据集的中性情感句子后发现，中性情感的句子绝大多数都是对某个属性的客观描述，并没有包含评论者对该属性的情感倾向表达。例如“It took about 2 hours to be served our 2 courses .”对于属性“courses”来说，例句中并不存在评论者对属性“courses”的情感表达。另一个发现是一些积极或消极情感的句子由于对应属性情感的表达过于含蓄或句子结构复杂等原因，导致模型无法准确捕获该属性的情感特征信息，从而将属性误分类到中性情感类别中。综上所述，中性情感句子内容的客观性和类别界限的模糊性导致中性情感极性数据的加入会降低模型在情感分类任务的准确率。通过实验结果的对比，模型ATAE-LSTM在Laptop数据集上的分类准确率最高，为87.6%。本文模型在Restaurant和Twitter两个数据集上的分类准确率都高于其他模型，分别为91%和86.8%。在Laptop数据集上的分类准确率为87%，与87.6%的最高准确率相比，仅相差0.6个百分点。这说明本文模型能够较好地解决不同领域的属性情感分析任务。

模型LSTM-MATT-AC在输入层的词向量矩阵中加入了位置注意力机制，为了验证位置注意力机制的有效性，本文去掉了位置注意力机制构建了模型LSTM-NP-AC。在3个不同领域的数据集上进行了二分类实验，实验结果如图3所示。从图3的结果可以看出，在输入层的词向量矩阵中加入位置注意力机制后，模型LSTM-MATT-AC在3个不同领域数据集上的情感分类效果都有提升。其中，Restaurant、Laptop和Twitter领域分别提高了2.25%，2.0%和1.4%。这说明在输入层加入位置注意力后，双向LSTM在训练过程中会结合不同单词与属性之间的相对位置来编码特定属性的上下文信息，让模型能够有效地关注不同单词对属性的影响程度，从而挖掘出更多有利于属性情感分类的特征信息。

在训练数据中，不同情感类别的数据量存在不均衡的现象，图4给出了二分类任务中3个不同领域的数据统计。为了验证类别注意力机制对属性情感分类的有效性，本文去掉了类别注意力机制，构建了模型LSTM-NC-AC。在3个不同领域的数据集上进行了二分类的实验，实验结果如图5所示。

图4的数据统计说明，相比Twitter领域的数据集，Restaurant和Laptop领域的数据集存在类别数据量不均衡的问题。图5的实验结果表明，加入类别注意力机制后，Restaurant和Laptop领域的分类准确率分别提高了1.56%和0.81%，Twitter领域的分类准确率维持不变。综合分析图4的数据统计结果和图5的实验结果后发现，在类别数据量不均衡的Restaurant和Laptop领域的情感分类模型中加入类别注意力会有效地提高分类的准确率;而Twitter领域的数据集，由于积极和消极情感类别的数据量相当，所以类别注意力的加入并未影响模型的分类准确率。以上分析说明，将类别注意力权重作为惩罚项加入到模型损失函数的计算中，会引导模型均衡地学习不同类别的情感特征信息，从而提高情感分类的准确率，增强模型的鲁棒性。

Vo等[9]和Tang等[10]提出的模型明确地区分了不同属性的上下文信息，并通过实验结果验证了该处理方式的有效性，为此本文模型LSTM-MATT-AC在多注意力双向LSTM网络的基础上组合了属性上下文层，明确区分出特定属性的上下文，分别通过前向和反向LSTM来独立编码属性的上下文信息。为了验证属性上下文层对属性情感分类的有效性，本文提出了模型LSTM-MATT-1和LSTM-MATT-2。其中，模型LSTM-MATT-1用（hfn‖hbn）替换了属性上下文层，而模型LSTM-MATT-2用（hfn‖hb1）替换了属性上下文层。将3个模型在3个不同数据集上进行二分类实验，结果如图6所示。

从图6的实验结果可以看出，在3个不同领域的数据集上，模型LSTM-MATT-2的分类准确率普遍高于模型LSTM-MATT-1。表明（hfn‖hb1）比（hfn‖hbn）编码了更丰富的句子上下文信息，即反向LSTM生成的hb1比hbn编码了更丰富的单词下文语境信息;同时，也验证了LSTM利用门限机制能够有效地学习句子中长距离的语义依赖。模型LSTM-MATT-AC的情感分类准确率又普遍高于模型LSTM-MATT-2，在Restaurant、Laptop和Twitter领域分别提高了1.79%、0.58%和1.4%。这说明区分不同属性的不同上下文，将一个属性作为一个目标，通过LSTM的上下文独立编码能够让模型更加充分地学习到属性的上下文语义特征，从而达到更好的情感分类效果。

为了进一步分析位置注意力机制和类别注意力机制对模型属性情感分类效果的影响，本文从Restaurant领域数据集中抽取了一个样本，将模型LSTM-MATT-AC分别同模型LSTM-NP-AC和LSTM-NC-AC生成的单词注意力权重值进行比较，更深层次地分析不同注意力机制对模型情感分类结果的影响[22]。表4展示了不同模型中句子单词的注意力权重的分配结果。对于属性“service”来说，一方面未添加位置注意力机制的模型LSTM-NP-AC同时赋予了情感词“Great”和“dreadful”较大的权重，而模型LSTM-MATT-AC能够准确识别正确的情感词“dreadful”，并将其权重值从0.4606提高到0.8691。这说明加入位置注意力机制的模型能够学习到单词与属性之间相对位置的特征信息，有效地捕获句子中不同单词对属性的影响程度，增强模型的内容注意力层识别正确情感词的能力，从而通过更加合理的权重分配来生成更准确的属性情感特征信息。另一方面由于Restaurant领域数据集的积极情感类别的句子数量约是消极情感类别数量的2.4倍，存在情感類别数量不均衡的现象。对于例句中情感极性属于消极的属性“service”，从表4中可以看出模型LSTM-NC-AC对其所在子句“but the service was dreadful！”中各单词的权重值分配较平均，且分配给该子句的总权重值0.5169远低于模型LSTM-MATT-AC分配给子句的总权重值0.9969，这说明训练数据类别不均衡的模型会存在偏置问题。从注意力权重分配的角度分析，可以发现模型会因某个类别数据量的不足而无法深层次地挖掘该类别数据中隐含的特征信息，从而降低对该类别子句的关注度，赋予较低的权重值，且易造成权值平均化的结果。通过深层次地分析句子中单词的注意力权重，能够有力地论证本文模型采用的位置注意力机制和类别注意力机制在属性情感分析任务中的有效性。

2.5 可视化注意力机制

为了更好地理解本文的注意力机制，分析句子中不同单词对特定属性情感极性的影响程度，本文从Restaurant和Laptop领域数据集中抽取出四个典型的样本，可视化了句子中不同单词的注意力权重。图7展示了注意力可视化的结果，其中，颜色的深度表示注意力权重等级，颜色越深表明单词的权重值越大，对属性情感极性的影响程度越大[23]。图7（a）和7（b）的例句“Great food ， but the service was dreadful！”中对于属性“food”来说，情感极性是积极;但对于属性“service”来说，情感极性是消极，两个情感极性相反的子句通过“but”连接。本文模型能够在识别转折句的基础上，分别准确地找到属性“food”和“service”的正确情感词“Great”和“dreadful”，从而预测出不同属性正确的情感类别。图7（c）的例句“I highly recommend it for not just its superb cuisine ， but also for its friendly owners and staff .”中属性“cuisine”的情感极性是积极。虽然句子中“cuisine”的前面存在否定词“not”，但本文模型能够判别出“not”在该句中并不表示否定的含义，从而准确预测出该属性正确的情感类别。图7（d）“The technical support was not helpful as well .”中属性“technical support”的情感极性是消极，相比图7（c）中的例句，本文模型能够识别出单词“not”是对正面情感词“helpful”的否定，从而准确判别出该属性正确的情感类别。

通过对图7可视化结果的分析可以看出，本文模型能够很好地解决不同类型句子的属性情感分析问题。在正确识别转折词、否定词等语义的基础上，模型通过注意力机制能够动态地侦测到句子中不同属性对应的正确情感词，从而准确地判别属性的情感极性。

3 结语

针对属性级情感分析任务，本文提出的模型LSTM-MATT-AC融合了多注意力机制和属性的上下文信息来构建情感特征。通过多注意力机制让模型能够从多个角度关注句子中不同单词与属性之间的联系，准确地表示出不同单词对属性的影响程度，挖掘句子更深层次的情感信息;同时，由于不同属性词的上下文存在差异，模型通过双向LSTM独立地编码了特定属性的上下文信息。将多注意力机制选择性关注的特征信息和属性的上下文语义信息进行融合，有效地判别了句子中不同属性的情感极性。通过在3个不同领域评测数据集上的对比实验表明，本文提出的模型比基于单注意力机制的神经网络模型在属性情感分类的准确率上有了进一步的提升，从而很好地解决了属性情感分析任务。

本文提出的模型采用平均化方式来处理属性词序列，导致无法捕获到属性词序列中的重要特征信息，如何利用注意力机制来实现属性词序列的特征融合是下一步工作的重点，以后将针对属性词序列的处理问题对模型进行改进。

参考文献 （References）

[1] 赵妍妍，秦兵，刘挺.文本情感分析[J].软件学报，2010，21（8）：1834-1848.（ZHAO Y Y， QIN B， LIU T. Sentiment analysis[J].Journal of Software，2010，21（8）：1834-1848.）

[2] 刘新星，姬东鸿，任亚峰.基于神经网络模型的产品属性情感分析[J].计算机应用，2017，37（6）：1735-1740.（LIU X X， JI D H， REN Y F. Product property sentiment analysis based on neural network model [J].Journal of Computer Applications，2017，37（6）：1735-1740.）

[3] 梁斌，劉全，徐进，等.基于多注意力卷积神经网络的特定目标情感分析[J].计算机研究与发展，2017，54（8）：1724-1735.（LIANG B， LIU Q， XU J， et al. Aspect-based sentiment analysis based on multi-attention CNN[J].Journal of Computer Research and Development，2017，54（8）：1724-1735.）

[4] JIANG L， YU M， ZHOU M， et al. Target-dependent Twitter sentiment classification [C]// Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2011：151-160.

[5] QIAN Q， TIAN B， HUANG M， et al. Learning tag embeddings and tag-specific composition functions in recursive neural network [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015：1365-1374.

[6] SOCHER R， PERELYGIN A， WU J Y， et al. Recursive deep models for semantic compositionality over a sentiment treebank [C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2013：1631-1642.

[7] TAI K S， SOCHER R， MANNING C D. Improved semantic representations from tree-structured long short-term memory networks [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1556-1566.

[8] RUDER S， GHAFFARI P， BRESLIN J G. A hierarchical model of reviews for aspect-based sentiment analysis [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016：999-1005.

[9] VO D T， ZHANG Y. Target-dependent twitter sentiment classification with rich automatic features [C]// Proceedings of the 25th International Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2015：1347-1353.

[10] TANG D， QIN B， FENG X， et al. Effective LSTMs for target-dependent sentiment classification [C]// COLING 2016： Proceedings of the 26th International Conference on Computational Linguistics： Technical Papers. Osaka， Japan： [s.n.]， 2016：3298-3307.

[11] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate [C]// ICLR 2015： Proceedings of the 3rd International Conference on Learning Representations. San Diego， CA： [s.n.]， 2015：1-15.

[12] RUSH A M， CHOPRA S， WESTON J. A neural attention model for abstractive sentence summarization [C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015：379-389.

[13] HERMANN K M， KOCISKY T， GREFENSTETTE E， et al. Teaching machines to read and comprehend [C]// NIPS15： Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015：1693-1701.

[14] WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 606-615.

[15] HUANG B， OU Y， CARLEY K M. Aspect level sentiment classification with attention-over-attention neural networks [C]// Proceedings of the 11th International Conference on Social Computing， Behavioral-Cultural Modeling， and Prediction Conference and Behavior Representation in Modeling and Simulation. Berlin： Springer， 2018： 197-206.

[16] （1） 參考文献的顺序排列有误，导致文献在正文中的排列顺序有误。现修改为：原来标号[20]的参考文献应调整到标号[16]的位置处，相应的原来标号[16]-[19]的依次更改为[17]-[20]。

PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. SemEval-2014 Task 4： aspect based sentiment analysis [C]// Proceedings of the 8th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2014：27-35.

[17] DONG L， WEI F， TAN C， et al. Adaptive recursive neural network for target-dependent twitter sentiment classification [C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2014：49-54.

[18] CHEN P， SUN Z， BING L， et al. Recurrent attention network on memory for aspect sentiment analysis [C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017：452-461.

[19] BAZIOTIS C， PELEKIS N， DOULKERIDIS C. DataStories at SemEval-2017 task 4： deep LSTM with attention for message-level and topic-based sentiment analysis [C]// Proceedings of the 11th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2017：747-754.

[20] PENNINGTON J， SOCHER R， MANNING C. Glove： global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014：1532-1543.

[21] MA D， LI S， ZHANG X， et al. Interactive attention networks for aspect-level sentiment classification [C]// Proceedings of the 26th International Joint Conference on Artificial Intelligence. Melbourne， Australia： [s.n.]， 2017：4068-4074.

[22] TANG D， QIN B， LIU T. Aspect level sentiment classification with deep memory network [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016：214-224.

[23] 胡朝举，梁宁.基于深层注意力的LSTM的特定主题情感分析[J/OL].计算机应用研究， 2019，36（5）：1-3[2018-03-10]. http：//www.arocmag.com/article/02-2019-05-008.html.（HU C J， LIANG N. Deeper attention-based LSTM for aspect sentiment analysis[J/OL]. Application Research of Computers，2019，36（5）：1-3[2018-03-10]. http：//www.arocmag.com/article/02-2019-05-008.html.）