大家好，欢迎收听本期播客节目！我是你们的主持人，今天我将和大家一起探讨一个重要的话题：如何教小型语言模型进行推理。推理能力对于语言模型来说非常关键，它能够帮助模型理解并生成连贯且上下文相关的回答。近年来，有许多研究和方法致力于提高语言模型的推理能力，甚至包括参数较小的模型。
1. 连贯性思维引导
一种在提高大型语言模型推理能力方面取得显著成果的方法是使用连贯性思维引导。这种方法通过给模型提供一系列提示或问题来引导其思维过程，鼓励其逐步推理。通过使用连贯性思维引导训练语言模型，研究人员在各种推理任务上取得了最先进的结果。
2. 知识蒸馏
为了将大型语言模型的推理能力传递给较小的模型，研究人员进行了知识蒸馏的探索。在这种方法中，通过较大的“教师”模型生成的连贯性思维输出来训练较小的“学生”模型。教师模型的连贯性思维输出为学生模型提供了宝贵的知识源，使其能够学习和提高其推理能力。
3. 实验结果
对算术、常识和符号推理数据集进行的实验证明了知识蒸馏方法对较小语言模型的任务性能的改进[1]。例如，当在一个名为PaLM-540B生成的连贯性思维的基础上进行微调时，T5 XXL模型在GSM8K数据集上的准确率从8.11%提高到了21.99%。
来源：
- Teaching Small Language Models to Reason – Magister等人，ACL文集，2023年。
了解更多：
Orca 2是由研究人员开发的一种小型语言模型，旨在提高小型模型的推理能力。以往的小型语言模型训练往往依赖于模仿学习，即复制更大、更强大的模型的输出。然而，过分强调模仿可能会限制较小模型的潜力，阻碍其根据问题和模型容量选择最佳解决策略的能力。
因此，Orca 2的目标是教导小型语言模型使用不同的解决策略来处理不同的任务，而不仅仅是模仿更强大模型的行为。例如，大型模型可能会直接回答复杂问题，而小型模型可能没有相同的能力。因此，在Orca 2中，研究人员教导模型使用各种推理技巧，如逐步处理、回忆再生成、回忆-推理-生成、抽取-生成和直接回答等。此外，他们还旨在帮助模型学习确定每个任务的最有效解决策略。
为了评估Orca 2的性能，研究人员使用了包含大约100个任务和36,000个独特提示的综合性数据集。在复杂的零样本设置中，Orca 2明显超越了类似规模的模型，并达到或超过了5到10倍大的模型的性能水平，尤其是在需要推理能力的复杂任务上。
Orca 2的训练过程是通过逐步学习完成的。研究人员首先对FLAN-v2数据集进行微调，然后结合Orca 1和Orca 2数据集进行训练。他们还使用了packing技术来优化训练过程，将多个输入示例组合成一个序列进行训练。
总的来说，Orca 2是一种具有推理能力的小型语言模型，它通过教导模型使用不同的解决策略来处理任务，提高了小型模型的性能。这项研究为小型语言模型的发展提供了新的思路，并在多个任务上取得了令人印象深刻的结果。