| 李思琪,朱庆,陈钰枫,徐金安,张玉洁.融合多头自注意力的远程监督关系抽取方法[J].情报工程,2021,7(6):045-057 |
| 融合多头自注意力的远程监督关系抽取方法 |
| Distant Supervision for Relation Extraction with Multi Head Self Attention |
| |
| DOI：10.3772/j.issn.2095-915X.2021.06.004 |
| 中文关键词: 关系抽取；远程监督；多头自注意力；实体特征 |
| 英文关键词: Relation extraction; distant supervision; multi-head self-attention; entity feature |
| 基金项目:国家自然科学基金“面上”项目“面向资源稀缺语言的实体挖掘及应用研究”（61976016）；“融合谓词框架和语义知识的神经机器翻译研究”(61976015)；“基于语义组合的开放域汉语复述研究”(61876198)。 |
| 作者 | 单位 | | 李思琪 | 北京交通大学计算机与信息技术学院 北京 100044 | | 朱庆 | 北京交通大学计算机与信息技术学院 北京 100044 | | 陈钰枫 | 北京交通大学计算机与信息技术学院 北京 100044 | | 徐金安 | 北京交通大学计算机与信息技术学院 北京 100044 | | 张玉洁 | 北京交通大学计算机与信息技术学院 北京 100044 |
|
| 摘要点击次数: 1821 |
| 全文下载次数: 1190 |
| 中文摘要: |
| [ 目的/ 意义] 在关系抽取的研究领域中，通过远程监督方法可以快速地获取大量标注好的训练数据，但是其存在的关系标签错误标注问题会引入大量噪声数据。已有的研究工作主要使用注意力机制来降低噪声数据的影响，但这种方法在注意力分配时使用的是含有噪声的关系标签，可能导致“越学越错”的问题。[ 方法/ 过程] 本文提出了一种融合多头自注意力的远程监督关系抽取方法，在词级别注意力分配上，使用多头自注意力计算并分配权重，在句子级别注意力分配上，使用头、尾两实体的语义表征作为权重分配的依据，从而避免采用有噪声的关系标签作为注意力分配的依据，以降低噪声的影响。[ 结果/ 结论] 在公开数据集上的实验结果表明，相较于使用有噪声的关系标签来分配注意力，所提方法的性能有了显著提高。 |
| 英文摘要: |
| [Objective/ Significance] In the research of relation extraction, distant supervision can construct amount of training corpus in a short time, while introduces a lot of noisy instances because of wrong labels. The existing research work primarily uses attention mechanism to reduce the impact of noise. However, when distributing attention weights, these methods are based on labels containing noise, which would further worsen wrong labelling problem. [Methods/Process] This paper proposes a distant supervision relation extraction method based on multi-head self-attention. Word-level attention weights are obtained by multi-head self-attention, and sentence-level attention weights are obtained based on the semantic representation of head and tail entities, so as to avoid using noisy relation labels as the basis for attention allocation, which reduces the influence of noise. [Results/Conclusions] The experimental results on the public dataset show that the proposed model has a significant improvement compared to all baseline models. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
