利用大模型打造文本摘要训练新范式

这篇文章主要讨论的是生成式文本摘要的方法，如何利用对比学习和大模型实现最新的生成式文本摘要训练范式。主要涉及两篇文章，一篇是BRIO: Bringing Order to Abstractive Summarization（2022），利用对比学习在生成模型中引入ranking任务；另一篇是On Learning to Summarize with Large Language Models as References（2023），在BRIO基础上进一步引入大模型生成高质量训练数据。

生成式文本摘要的训练一般采用极大似估计的方式。首先用一个Encoder对document进行编码，然后用一个Decoder递归的预测摘要中的每个文本，拟合的目标是一个人工构造的摘要标准答案。整个优化函数可以表示为如下形式，让每个位置生成文本的概率和标准答案最接近：

这种方式的问题在于，训练和下游实际任务并不一致。对于一个document，可以产生很多摘要，这些摘要的质量有好有坏。而MLE要求拟合的目标必须是唯一一个标准答案。这种gap也导致文本摘要模型无法比较好的评估两个质量不同摘要的好坏程度。例如在BRIO这篇论文中做了一个实验，一般的文本摘要模型在判断质量不同的两个摘要的相对顺序时，效果非常差。

为了解决传统生成式文本摘要模型存在的问题，BRIO: Bringing Order to Abstractive Summarization（2022）提出在生成模型中进一步引入对比学习任务，提升模型对不同质量摘要的排序能力。

BRIO采用多任务的形式进行训练。第一个任务和传统生成式模型相同，也是MLE的方式拟合标准答案。第二个任务是一个对比学习任务，让一个预训练的文本摘要模型使用beam search生成不同的两个结果，使用ROUGE评估这两个生成结果和标准答案之间哪个更好，以确定这两个摘要的排序。这两个摘要结果输入到Decoder中，得到两个摘要的概率，通过对比学习loss让模型给高质量摘要更高的打分。这部分对比学习loss的计算方式如下：

随着GPT等大模型的兴起，人们发现用大模型生成的摘要甚至比人工生成的质量还要好。这种情况下，使用人工生成的标准答案就限制了模型效果的天花板。因此On Learning to Summarize with Large Language Models as References（2023）提出使用GPT这种大模型生成训练数据，指导摘要模型学习。

这篇文章提出了3种利用大模型生成训练样本的方式。

第一种是直接使用大模型生成的摘要，替代人工生成的摘要，相当于直接用下游模型拟合大模型的摘要生成能力，训练方式仍然是MLE。

第二种方式为GPTScore，主要是利用预训练大模型对生成的摘要进行打分，以这个打分作为评估摘要质量的依据，然后使用类似BRIO中的方式进行对比学习训练。GPTScore是Gptscore: Evaluate as you desire（2023）中提出的一种基于大模型评估生成文本质量的方法。

第三种方式为GPTRank，这种方法让大模型对各个摘要进行排序而非直接打分，并让大模型对排序逻辑做出解释，以此获取更合理的排序结果。

大模型在摘要生成上的能力得到越来越广泛的认可，因此利用大模型作为摘要模型拟合目标的生成器，取代人工标注结果，将成为未来的发展趋势。同时，利用排序对比学习进行摘要生成的训练，让摘要模型感知摘要质量，超越原本的点拟合，对于提升摘要模型效果也至关重要。