算力就这么点，为了提升语言模型性能，谷歌想了个新点子论文链接

近年来，语言模型（LM）在自然语言处理（NLP）研究中变得更加突出，在实践中也越来越有影响力。一般来说，扩大模型的规模已被证明可以提升在一系列NLP任务中的性能。

不过，扩大模型规模的挑战也是显而易见的：训练新的、更大的模型需要大量的计算资源。此外，新的模型往往是从头开始训练的，无法利用以前的模型的训练权重。

对于这个问题，谷歌的研究人员探讨了两种互补的方法，在不额外消耗大量计算资源的情况下，大幅提高现有语言模型的性能。

首先，在「TranscendingScalingLawswith0.1%ExtraCompute」一文中，研究人员介绍了UL2R，这是一个轻量级的第二阶段预训练模型，使用一个混合enoisers目标。UL2R提高了一系列任务的性能，甚至在以前具有接近随机性能的任务上释放出突发性能。

论文链接：https://arxiv.org/ pdf/2210.11399.pdf

另外，在「ScalingInstruction-FinetunedLanguageModels」中，探讨了在一个以指令为措辞的数据集上微调语言模型的问题，这个过程我们称为"Flan"。这种方法不仅提高了性能，而且还提高了语言模型对用户输入的可用性。

论文链接：https://arxiv.org/ abs/2210.11416

最后，Flan和UL2R可以作为互补技术结合在一个名为Flan-U-PaLM540B的模型中，该模型在一系列具有挑战性的评估基准中，比未经调整的PaLM540B模型表现高出10%。UL2R的训练

传统上，大多数语言模型都是在因果语言建模目标上进行预训练，使模型能够预测序列中的下一个词（如GPT-3或PaLM）或去噪目标，其中模型学习从损坏的单词序列中恢复原句（如T5）。

尽管在语言建模目标中存在一些权衡，即因果关系的语言模型在长句生成方面表现更好，而在去噪目标上训练的语言模型在微调方面表现更好，但在之前的工作中，研究人员表明，包括这两个目标的混合enoisers目标在两种情况下都能取得更好的性能。

不过，在不同的目标上从头开始对大型语言模型进行预训练，在计算上是很困难的。因此，我们提出了UL2修复（UL2R），这是一个用UL2目标继续预训练的附加阶段，只需要相对较少的计算量。

我们将UL2R应用于PaLM，并将产生的新语言模型称为U-PaLM。

在实证评估中，我们发现，只需少量的UL2训练，模型就会有大幅改善。

例如，通过在PaLM540B的中间检查点上使用UL2R，可以达到PaLM540B在最终检查点的性能，同时使用了2倍的计算量。当然，将UL2R应用于最终的PaLM540B检查点也会带来巨大的改进。

PaLM540B和U-PaLM540B在26个NLP基准上的计算与模型性能对比。U-PaLM540B继续训练PaLM，计算量非常小，但在性能上有很大的提升。

使用UL2R的另一个好处是，它在一些任务上的性能比纯粹在因果语言建模目标上训练的模型好得多。例如，有许多BIG-Bench任务具备所谓「新兴能力」，即只有在足够大的语言模型中才有的能力。

虽然最常见的发现新兴能力的方式是通过扩大模型规模，但UL2R实际上可以在不扩大模型规模的情况下激发新兴能力。

比如在BIG-Bench的导航任务中，衡量模型进行状态跟踪的能力，除了U-PaLM，所有模型的训练FLOPs少于10^23个。另一个例子是BIG-Bench的Snarks任务，该任务衡量模型检测讽刺语言的能力。

对于来自BIG-Bench的两种能力，展示了新兴的任务性能，U-PaLM由于使用了UL2R目标，所以在较小的模型规模下实现了新兴性能。指令微调

在第二篇论文中，我们探讨了指令微调，这涉及到在一组以指令为措辞的NLP数据集上对LM进行微调。

在之前的工作中，我们将指令微调应用于62个NLP任务的137B参数模型，比如回答一个小问题，对电影表达的情感进行分类，或者将句子翻译成西班牙语等。

在这项工作中，我们在超过1.8K的任务上微调了540B参数的语言模型。此外，以前的工作只对有少量例证的语言模型（如MetaICL）或无例证的零例证语言模型（如FLAN、T0）进行微调，而我们对两者的组合都进行了微调。

我们还包括思维链微调数据，这使得模型能够进行多步骤推理。我们把我们改进的方法称为"Flan"，用于微调语言模型。

值得注意的是，即使在1.8K的任务上进行微调，与预训练相比，Flan只用了一小部分的计算量（对于PaLM540B，Flan只需要预训练计算量的0.2%）。

在1.8K个以指令形式表述的任务上对语言模型进行微调，并在新任务上对模型进行评估，这些任务不包括在微调中。分别在有/无示例的情况下进行微调（即0-shot和few-shot），以及有/无思维链的情况下进行微调，使模型可以在一系列评估场景中推广开来。

本文中，一系列规模的LM进行了指令-微调，目的是研究同时扩大语言模型的规模和增加微调任务数量的共同效果。

例如，对于PaLM类语言模型，包括8B、62B和540B参数规格。在四个具有挑战性的基准评估标准（MMLU、BBH、TyDiQA和MGSM）上评估了我们的模型，发现扩大参数数量和微调任务数量都能提高在此前未见的新任务上的性能表现。