欢迎访问发表云网!为您提供杂志订阅、期刊投稿咨询服务!

带有覆盖率机制的文本摘要模型研究

巩轶凡; 刘红岩; 何军; 岳永姣; 杜小勇 数据工程与知识工程教育部重点实验室(中国人民大学信息学院); 北京100872; 清华大学经济管理学院; 北京100084
文本摘要   深度学习   循环神经网络   覆盖率机制  

摘要:近年来文本信息出现了爆炸式增长,人们没有足够的精力去阅读这些文本,因此如何自动地从文本中提取关键信息就显得尤为重要,而文本摘要技术可以很好地解决这个问题。目前的文本摘要技术主要是利用带有注意力(attention)机制的序列到序列模型(sequence to sequence)对文本生成摘要,但是注意力机制在每个时刻的计算是独立的,没有考虑到之前时刻生成的文本信息,导致模型在生成文本时忽略了之前生成的内容,导致重复生成部分信息。针对这一问题,在文本摘要模型中引入了一种新的覆盖率(coverage)机制,通过覆盖向量记录历史时刻的注意力权重分布信息,并用来改变当前时刻注意力机制的权重分布,使模型更多地关注没有利用到的信息。改进后的模型在新浪微博数据集上进行了实验,实验结果表明,基于新提出的覆盖率机制的文本摘要模型的准确度高于普通的序列到序列模型。

简介:《计算机科学与探索》(CN:11-5602/TP)是一本有较高学术价值的大型月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机科学与探索

北大期刊 下单

关注 17人评论|0人关注
服务与支持