• 【NLP-2019-SA】解读--An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis-2019ACL


    目录

    1. 研究背景
    2. 论文思路
    3. 实现方式细节
    4. 实验结果
    5. 附件

    专业术语列表

    方面级别的情绪提取 aspect term extraction (AE)

    方面级别的情绪分类 aspect-level sentiment classification (AS)

    文档级别情绪分类 Documentlevel sentiment classification (DS)

    文档域级别分类 document-level domain classification(DD)

    交互式多任务学习网络 interactive multi-task learning network ( IMN)

    基于方面的情感分析 Aspect-based sentiment analysis (ABSA)

    一、研究背景

    1.1 涉及领域,前人工作

    基于方面的情感分析产出:1.自然语言句子的方面术语 2.及其对应一种情感 3多任务

    传统的方式:任务以流水线方式完成,先进行方面术语的提取,再对提取的方面术语进行情感预测。

    传统的方式的缺点:虽然更容易开发,但是这种方法没有充分利用来自两个子任务的联合信息,也没有使用可能有用的所有可用的培训信息来源,比如文档级标记的情感语料库。

    1.2 中心思想

    提出了一种IMN,基于共享的潜在变量,完成AE和AS同时训练,AE,AS和DS,DD四者的交互式训练,本文IMN不仅允许共享表示,而且通过使用迭代消息传递模式显式地对任务之间的交互进行建模。传播的信息有助于学习和推理,从而提高ABSA的整体性能。其中DS和DD的加入,允许允许方面级别的任务从文档级别的信息中受益,实验结果较好。实验结果表明,该方法在三个基准数据集上具有较好的性能。

    二、论文思路

    2.1 框架图和重要部分

    文章主要框架图:

    主要组成构建:

    1{x1,x2,x3……x6} :输入文本信息,token序列的数据

    6DS:预测对输入文档的情感

    7DD:预测输入文档的域标签

    在AE中我们为每个token分配一个标签,表明它属于某个方面或观点术语;在AS中,我们用sentiment标记每个单词。在一个分类任务中,输出就是输入实例的label,比如情感分类任务DS的文档情感,域分类任务DD的文档域(新闻分类),具体取决于任务。 此外,我们还允许在每个迭代中的组件之间传递消息。针对这个问题,我们将信息从AE任务发送到AS任务,如图所示。在T次迭代之后,允许信息通过多个跃点传播的消息传递,我们使用输出变量的值作为预测。对于这个问题,我们只使用AE和AS的输出,因为这些是最终任务,而其他任务只用于训练。

    2.2 论文技术特点(对比文献)

    创新点有:

    IMN的提出

    (Wang et al., 2018; Liet al., 2019)两篇结果表明,集成模型可以获得与流水线方法相当的结果。两者都使用统一的标记方案将问题表述为单个序列标记任务。他们方法的缺点:

    1.仅仅通过统一的标记连接两个任务,没有显式的建模它们之间的相关性。

    2.这些方法只学习方面级别的实例,实例的大小通常很小,没有利用其它来源的可用信息,比如文档级别的标记的情感语料库.

    三、实现方式

    下面主要介绍四个组件如何工作,以及如何产出的:

    3.1 Aspect-Level任务

    3.2 Document-Level任务

    目的:为了解决方面级训练数据不足的问题,IMN能够利用文档级标记的情感语料库中的知识,这些知识更容易获得。

    3.3 Message Passing Mechanism(消息传递机制)

    3.4 Learning

    方面级问题的实例只有方面级标签,文档级问题的实例只有文档标签。IMN交替在方面级和文档级实例上进行训练。在aspect级实例中,这个函数如下:

    在文档级样本上进行训练时,我们将以下损失最小化:

    四、实验结果

    4.1 Experimental Settings

    结果比较

    提出了一种交互式多任务学习网络IMN,用于联合学习方面和观点术语的共同提取,以及方面层次的情感分类。提出的IMN引入了一种新的消息传递机制,允许任务之间进行信息交互,从而更好地利用相关性。此外,IMN能够从多个训练数据源中学习,允许细粒度的token级任务从文档级标记的语料库中受益。该体系结构可能适用于类似的任务,如关系提取、语义角色标注等。

    五、附件

    5.1、 Ruidan Heyz, Wee Sun Leey, Hwee Tou Ngy, and Daniel Dahlmeier An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis [C] Association for Computational Linguistics 504–515

  • 相关阅读:
    Building Apache Thrift on CentOS 6.5
    ToStringBuilder 学习
    对List中对象的去重
    MyEclipse启动Tomcat服务器时老是跳到Debug调试上
    JS 实现点击展开菜单
    详解公钥、私钥、数字证书的概念 转载
    eclipse svn 忽略 target目录 等等... 我用的后边的方法 (转载)
    Log4j XML 配置
    JS完成改变新闻字体大中小的显示
    Javascript 简单学习
  • 原文地址:https://www.cnblogs.com/yifanrensheng/p/13510878.html
Copyright © 2020-2023  润新知