基于深度学习的命名实体识别方法研究

李昊泽 云南师范大学

一、命名实体识别简介

命名实体识别的是从非结构化或半结构化等文本中提取出来的所需要的内容使其变成为有用的文本内容。在现在这个大数据以及云计算的时代，主要面对的用户的群体是各式各样的普通用户，对于不同的群体所需要从文本内容中提取的信息野不尽相同。所以，如何高效的从几何级数的互联网看似杂乱无章的数据中抽取出来对各类用户有用的文本信息显得非常的重要。命名实体识别技术为了解决上述提出的主要问题提供了一种新的思路。中文命名实体识别技术是自然语言处理的基础并且也是主要的任务。现在的自然语言处理任务都需要先运用到命名实体识别等基础的任务。如海量文本的情感分析、语义的标注任务以及机器翻译等领域中都非常普遍用到命名实体识别技术，所以，对于命名实体识别的研究对于自然语言处理领域来说是具有非常重要的意义。

二、基于LSTM 的命名实体识别

长短期记忆网络(LSTM)就是为了解决循环神经网络因为梯度消失会使得无法利用距离过远的信息这个问题。一般来说循环神经网络在6 层以后记忆的能力已经接近为零了。长短期记忆网络模型解决了循环神经网络存在梯度消失会使得无法利用距离过远的信息这个问题，提出短期和长期记忆单元的引入,其主要目的是将信息存储在内存单元,更新,和衰减记忆单元和输入/输出将由多个门控制对应的记忆单元,学会控制的参数对应的记忆单元门决定信息的记忆单元存储或遗忘。在长短期记忆网络模型里，设长短期记忆网络在t 时刻的输入是i_t，t-1 时刻的隐藏层和记忆单元分别为h_(t-1)、c_(t-1),输出t 时刻的隐藏层h_t和记忆单元c_t。

（1）门信息公式：

（2）记忆单元值的公式：

（3）t 时刻隐藏层值的公式：

其中W 和b 均表示参数，σ一般取sigmod 函数 。

从以上的门信息、记忆单元值以及t 时刻的隐藏层值的计算公式我们可以看出来，不添加门的时候记忆单元值与输入门来乘得到的数值放到记忆单元值里，这样就可以把信息放到里面，而对于门信息里的遗忘门与t-1 时刻的隐藏层的值乘起来，这样得到的数值，把数值放到放到记忆单元里，主要会使得记忆单元的衰减，将t 时刻的记忆单元与输出门相乘，使记忆单元中的信息输出到隐藏层，从而影响t+1 时刻各个门的输出。有了控制信息的记忆单元，网络就可以存储对任务最有用的信息。可以看出，LSTM 基本解决了循环神经网络中梯度消失的缺陷。

长短期记忆网络模型虽然理论上解决了解决解决循环神经网络因为存在梯度消失会使得无法利用距离过远的信息这个问题，但是在实际实验过程中，我们还是会发现长期记忆和短期记忆的网络模型只能利用以前的历史信息，而没有考虑到后面文本对前面文本的影响，这也是非常重要的。此外，对于整个序列标注任务，如果没有充分利用上下文信息进行预测是不准确的。对于长短期记忆网络模型所存在的问题，又有学者提出了双向长短期记忆网络（Bi LSTM）模型，双向长短期记忆网络模型可以使得其同时使用整个序列的信息，也就是可以考虑到上下文的信息。双向长短期记忆网络模型是由反向LSTM 网络和正向LSTM 网络组成，在双向计算输入序列时，可以充分考虑输入序列上下文信息的使用。并且长短期记忆网络模型不仅可以捕捉到对于时序的动态信息，而且也可以利用到当前词的前后文信息，使得最后获得较好的依赖关系。

三、结论

对于以上所阐述的的命名实体识别模型LSTM 以及BiLSTM，我们可以发现在做实体识别的任务时，长短期记忆网络模型不仅可以捕捉到对于时序的动态信息，而且也可以利用到当前词的前后文信息，使得最后获得较好的依赖关系，使得命名实体识别的效果显著提升，并且结合中文语言的结构特点，可以做到充分挖掘文本序列中的潜在信息，从而更好的识别实体.