融合ERNIE和注意力机制的中文关系抽取模型
作者:李天昊; 霍其润; 闫跃; 徐远超
更新时间:
关系抽取的任务是在实体识别的基础上确定非结构化文本中实体对之间的关系类别,即判断实体之间的关系。针对中文关系抽取的准确性不足,静态词向量不能很好地解释文本的问题,提出了一种结合ERNIE预训练模型和注意机制的TEXTCNN中文关系抽取模型。根据中文的特点,ERNIE语词向量以掩蔽短语为单位进行模型训练,以实现中文文本更好的语义表达。然后,通过TEXTCNN模型提取输入数据的特征,整合注意机制,重点关注影响最终结果的关键特征,从而实现最佳特征提取。本文在百度发布的SKE数据集上进行了实验,重点研究了ERNIE模式与注意机制相结合对中文文本特征表达的影响。结果表明,该模型能够更好地学习中文文本中的特征,并用于关系抽取,从而有效地提高了关系抽取任务的准确性。