将上下文融入知识图谱以进行常识推理

将上下文融入知识图谱以进行常识推理

Fusing Context Into Knowledge Graph for Commonsense Reasoning 论文阅读笔记

背景：很多方法结合了预训练模型和知识图谱，但是图谱缺乏上下文，对概念和关系理解不够准确。

想法：利用外部实体描述来为图谱实体提供上下文信息。对于 CommonsenseQA 任务，主要步骤如下：

1. 提取问题和选项中的概念，并找到与这些概念相关的三元组。
2. 从 Wkitionary 中提取这些概念的描述，将它作为三元组的附加的输入喂给预训练模型。

Introduction

仅通过图谱描述和相邻信息推理还是不充分，但是可以直接从外部源得到准确的定义。

为了产生能无缝地整合到预训练模型的结构数据，我们需要提供每个概念在图谱中的全局视角，包括邻接概念、它们的关系以及一个明确的描述。为此作者提出了模型 DEKCOR：

DEKCOR: DE-scriptive Knowledge for COmmonsense Reasoning

1. 提取包含的概念；

2. 从 ConceptNet 中提取问题概念和选择概念之间的边；

   如果上述的边不存在，则为每个包括选择概念的三元组计算相关分数，取分数最高的一个。

3. 通过多种文本匹配准则，从 Wkitionary取出这些概念的定义。

4. 将问题、选项、选择的三元组和定义喂入 Albert，相关分数在后续的注意力和 softmax 层生成。

Method

问题定义：$$G = (V, E), Q, c_1, ..., c_n$$

1 Knowledge Retrieval

KCR 方法找 $$e_q$$ 到 $$e_c$$ 的边，如果存在直接的边则直接选择；否则取出 N 个包含 $$e_c$$ 的三元组，对每个三元组评分：

三元组权重 $$w_j$$ ( 由 ConceptNet 提供 )，关系类型权重 $$t_{r_j}$$。关系类型权重 $$t_{r_j} = frac{N}{N_{r_j}}$$，即所有三元组的数量和这种关系三元组的数量之比。

2 Contextual Information

对于每个向量，选择其在 Wkitionary 的第一个结果的定义。

通过如下顺序进行匹配：a) 原始形式，b) lemma form by Spacy, c) base word

e.g. takes notes 找不到，但是 lemma 形式 take notes 在里面有，如此便得到其描述 To make a record of what one hears or observes for future reference.

我们找到了所有实体的描述，问题和选择的概念的描述用 $$d_q$$ 和 $$d_c$$ 描述。

最后，以 $$[CLS]Qc_i[SEP]e_q:d_q[SEP]e_c:d_c[SEP]triple$$ 格式输入 Albert。

3 Reasoning

在 Albert 的输出（$$x_0,...,x_m$$）后面接上一个基于注意力的权重求和以及一个 softmax 层来生成 question-choice 对的相关分数。

[q_i = u^TWx_i$$ $$alpha_i=softmax(q_i)$$ $$v=sum_{i=0}^{m}alpha_ix_i$$，其中 $$u$$ 和 $$W$$ 是参数。 ## Related Work Scalable multi-hop relational reasoning for knowledge-aware question answering. Unifiedqa: Crossing format boundaries with a single qa system. Connecting the dots: A knowledgeable path generator for commonsense question answering. Graph-based reasoning over heterogeneous external knowledge for commonsense question answering. Conceptnet—a practical commonsense reasoning tool-kit. Towards generalizable neuro-symbolic systems for commonsense question answering. Knowledge guided text retrieval and reading for open domain question answering. Atomic: An atlas of machine commonsense for if-then reasoning. Jaket: Joint pre-training of knowledge graph and language understanding Representation learning of knowledge graphs with entity descriptions.]