BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。
Transformer 架构由两个主要构建块组成——编码器和解码器——我们将它们堆叠在一起形成一个 seq2seq 模型。从头开始训练基于Transformer 的模型通常很困难，因为它需要大型数据集和高 GPU 内存。我们可以使用许多具有不同目标的预训练模型。
首先，编码器模型（例如，BERT、RoBERTa、FNet 等）学习如何从他们阅读的文本中创建固定大小的特征表示。这种表示可用于训练网络进行分类、翻译、摘要等。具有生成能力的基于解码器的模型（如 GPT 系列）。可以通过在顶部添加一个线性层（也称为“语言模型头”）来预测下一个标记。编码器-解码器模型（BART、Pegasus、MASS、...）能够根据编码器的表示来调节解码器的输出。它可用于摘要和翻译等任务。它是通过从编码器到解码器的交叉注意力连接来完成的。
在本文中，想展示如何使用仅编码器模型的预训练权重来为我们的微调提供一个良好的开始。我们将使用 BERT 作为编码器和解码器来训练一个摘要模型。
Huggingface 新的 API可以混合和匹配不同的预训练模型。这让我们的工作变得超级简单！但在我们在进入代码之前先看看这个概念。应该怎么做才能使 BERT（编码器模型）在 seq2seq 中工作？
为简单起见，我们删除了图 中网络的其他元素！为了进行简单的比较，仅编码器模型（左）的每个块（层）都由一个自注意力和一个线性层组成。同时，encoder-decoder 网络（右）在每一层也有一个 cross-attention 连接。交叉注意力层使模型能够根据输入来调节预测。
完整文章
https://avoid.overfit.cn/post/a4ca593f1639463985fa8d9118a394db