模型: 9层CNN卷积+深度残差学习
关系抽取是一个重要的课题。以前也有很多paper用CNN进行提取特征,不过他们大多只用了很浅的CNN(大部分都只有一层convolution layer+1 FC 层)。并没有人研究深层CNN好不好用。
本文中,我们研究了深层CNN用于远程监督的RE(relation extraction 后面也用简写)问题。具体来说,本文使用residual learning,word embedding 和 position embedding作为模型的输入,并使用identity feedback研究RE问题。实验室用NYT数据集,效果非常好(和所有CNN模型相比)。
卷积部分:
残差学习模块: