近年来，语言模型（LM）在语言生成方面取得了长足进步，其输出结果常常与人类生成的语言难以区分。然而，语言生成过程的复杂性也意味着有效的模型本身也极其复杂，难以解释。
传统的语言模型解释方法通常通过在不同基准测试中评估模型性能，并据此推断模型内部机制。本文提出了一种替代方法，专注于语言模型处理的质量，重点关注其语言能力。为此，我们构建了“语言任务空间”——语言模型对语言概念化的表示，揭示了语言模型在语言现象之间建立的联系。
任务空间：语言模型的“思维地图”
任务空间基于不同语言现象的学习信号之间的相互作用，我们通过一种名为“相似性探测”的方法对其进行评估。为了解开语言现象的学习信号，我们还引入了一种名为“梯度微分微调”（FTGD）的方法。
任务空间的概念类似于多任务学习（MTL）中的“任务空间”，它可以表示语言模型在不同语言任务上的泛化行为。 我们可以将语言任务空间想象成一张“思维地图”，展示了语言模型如何将不同的语言现象联系起来。
相似性探测：揭示语言模型的“思维方式”
相似性探测方法通过三个步骤来构建语言任务空间：
- 评估未经微调的语言模型在各种语言现象上的表现。 每个语言现象可以看作一个“语言任务”。
- 分别针对每个语言任务微调一个语言模型。
- 再次评估所有语言模型在所有语言任务上的表现，并评估微调对其他任务的影响。
通过比较微调前后模型在不同任务上的表现变化，我们可以推断出不同语言任务之间的相似性。 例如，如果在任务 A 上的微调显著提高了任务 B 的表现，则说明任务 A 和任务 B 之间存在较高的相似性。
梯度微分微调：解开语言任务的“缠结”
在语言模型中，不同的语言任务往往相互交织，难以分离。例如，每个句子都包含主谓一致（SVA）信息，如果我们想单独微调一个任务 A，那么任何用于训练任务 A 的数据点都必然包含 SVA 信息。任务 A 和 SVA 的学习信号重叠，无法明确地归因于任何一个任务。
为了解开语言任务的“缠结”，我们引入了梯度微分微调（FTGD）方法。 FTGD 通过计算两个仅在特定任务的子梯度上有所不同的梯度之间的差值，来隔离特定的语言任务。
FTGD 方法基于这样一个假设：语言模型训练中的梯度是多个“子梯度”的线性组合，每个子梯度代表一个不同的语言任务。 通过计算梯度微分，我们可以有效地消除其他子梯度，从而隔离特定的语言任务。
语言任务空间的应用
我们通过对三种不同规模的语言模型进行实验，发现更大的模型能够更好地泛化到语言任务的总体概念，更好地利用其共享结构。此外，随着预训练的进行，语言处理的分布式程度也随之提高，这表明相关语言任务之间参数共享程度的增加。
语言任务空间可以用于：
- 更深入地理解语言模型。 通过分析语言任务空间，我们可以了解语言模型如何将不同的语言现象联系起来，以及它们在学习过程中如何发展其语言概念化。
- 测试语言理论。 我们可以构建一个代表语言理论中争议观点的假设空间，并测试语言模型是否根据该假设进行泛化。
结论
本文构建了语言任务空间，代表了语言模型对语言概念化的表示，可以用于语言理论测试和作为一种整体解释工具。我们还引入了 FTGD 方法来选择性地微调潜在的、相互交织的概念，例如语言任务，以及“相似性探测”方法来通过迁移学习和梯度分析来估计语言任务之间的相似性。
我们的研究结果表明：
- 语言任务的学习从局部开始，随着训练的进行变得更加分布式，语言任务之间参数共享程度增加，特别是语言相关任务之间的梯度对齐程度增加。
- 语言模型的泛化模式在整个预训练过程中保持惊人的稳定，没有出现明显的转变——这与人类学习的行为模式不同。
未来研究方向：
- 将我们的方法应用于其他领域，例如数值推理和跨语言概念学习，以更好地理解语言模型的当前弱点。
- 探索语言理论测试的潜力，以缩小形式语言学和计算语言学研究之间的差距。
参考文献
- Weber, L., Jumelet, J., Bruni, E., & Hupkes, D. (2023). Interpretability of Language Models via Task Spaces. arXiv preprint arXiv:2302.04260.
Q: 这篇论文试图解决什么问题？
A: 这篇论文提出了一种新的方法来解释和理解语言模型（Language Models, LMs）的内部处理过程。通常，我们通过在不同的基准测试上评估语言模型的性能来解释它们，但这种方法并不能提供关于模型解决方案质量的深入见解。特别是当模型表现非常好，错误分析变得不可能时。然而，从可解释性研究者、认知科学家或语言学家的角度来看，处理的质量才是真正有趣的。
论文中指出，尽管语言模型在语言生成方面已经达到了高度的复杂性和精细度，以至于它们的输出常常与人类生成的语言无法区分，但这些模型的复杂性也使得它们难以解释。为了解决这个问题，作者提出了一种替代方法，集中于语言模型处理质量，特别是它们的语言能力。为此，作者构建了“语言任务空间”（linguistic task spaces），这是一种表示语言模型语言概念化的工具，能够揭示语言模型在不同语言现象之间建立的联系。
具体来说，论文的主要贡献包括：
- 提出语言任务空间作为一种解释性方法，以促进对模型的深入理解，并作为语言学理论测试的工具。
- 引入了一种称为“通过梯度差异的微调”（Fine-tuning via gradient differentials, FTGD）的技术，用于在语言模型中分离语言任务并选择性地微调它们。
- 引入了一种称为“相似性探测”（similarity probing）的高效方法，用于生成大型语言任务空间。
- 通过构建不同阶段的语言任务空间，分析了语言模型在预训练过程中语言概念化的发展。
通过这些方法，作者希望更好地理解语言模型是如何处理和概念化语言的，以及它们在训练过程中如何发展和变化。
Q: 有哪些相关研究？
A: 在这篇论文中，作者们提到了多个与他们的研究相关的领域和具体工作，包括但不限于：
- 多任务学习（Multi-Task Learning, MTL）：在MTL中，任务间的转移被认为是由它们的“相似性”决定的。作者们提到了Thrun和O’Sullivan (1996)以及Zamir等人 (2019) 和Standley等人 (2020) 的工作，这些研究构建了基于任务特定表示的可转移性的计算机视觉任务的税收学。
- 语言空间（Linguistic Spaces）：语言模型（LMs）由于能够一致地构建可接受的语言而变得有趣，并且它们不能自省地报告其内部过程。因此，有越来越多的兴趣在于开发方法，通过分析LMs的内部过程来获得理论见解，这被称为“合成语言学”。作者们引用了Chowdhury和Zamparelli (2019)，Prasad等人 (2019)，Sinclair等人 (2022)，Pérez-Mayos等人 (2021) 和Müller-Eberstein等人 (2023) 的工作。
- 低维子空间中的微调（Fine-tuning in low-dimensional subspaces）：最近，研究者们发现在过度参数化的模型中，任务可以在低维子空间中进行有效微调。作者们引用了Li等人 (2018)，Aghajanyan等人 (2020)，Gressmann等人 (2020)，Hu等人 (2022)，Li等人 (2022) 和Zhang等人 (2023) 的工作，这些研究展示了如何通过投影到低维子空间中进行任务训练。
- 语言模型的解释性（Interpretability of Language Models）：作者们提到了Linzen等人 (2016) 和Marvin和Linzen (2018) 的工作，这些研究通过简单的评估任务（例如各种语言结构的语法可接受性判断）来评估LMs的能力。
- 语言学理论（Linguistic Theory）：Baroni (2022) 的工作讨论了语言模型在语言学理论中的作用。
- 梯度对齐（Gradient Alignment）：Yu等人 (2020) 的工作，它与任务在参数空间中的直接关联有关。
- 语言模型的泛化能力（Generalization Abilities of Language Models）：Hupkes等人 (2020)，Lake和Baroni (2018, 2023) 以及其他一些研究讨论了语言模型的泛化能力。
- 课程学习（Curriculum Learning）：Surkov等人 (2022) 和Campos (2021) 的工作探讨了在语言建模中课程学习策略的有效性。
这些相关研究为作者们提出的新方法提供了理论基础和背景支持。
Q: 论文如何解决这个问题？
A: 论文通过以下几个关键步骤来解决语言模型（LMs）的解释性问题：
- 构建语言任务空间（Linguistic Task Spaces）：
- 通过评估语言模型在不同语言现象（视为不同的任务）上的表现，作者们构建了一个表示语言模型语言概念化的空间，即语言任务空间。这个空间可以揭示语言模型在不同语言现象之间建立的联系。
- 引入相似性探测（Similarity Probing）方法：
- 这种方法通过选择性地对特定语言任务进行微调，并评估这种微调对其他任务的影响，来估计语言任务之间的相似性。这包括性能转移的评估和梯度更新的比较。
- 开发梯度差异微调（Fine-tuning via Gradient Differentials, FTGD）技术：
- 为了从自然语言中分离出单一的语言任务，作者们提出了FTGD方法。该方法使用“梯度差异”来选择性地更新参数的一个小子空间，从而减少了训练参数的数量，同时保持了梯度质量。
- 分析语言模型的预训练过程：
- 作者们在语言模型预训练的不同阶段构建语言任务空间，以分析语言概念化的发展。他们发现，随着预训练的进行，语言处理变得更加分布式，参数共享和梯度对齐在相关语言任务之间增加。
- 评估FTGD的有效性和选择性：
- 通过与使用完整梯度的常规微调进行比较，作者们证明了FTGD在提高特定语言任务性能方面同样有效，同时对模型的一般语言生成能力干扰较小。
- 比较不同相似性度量：
- 作者们比较了基于性能转移和梯度属性（如梯度子空间重叠和梯度对齐）构建的任务空间，以确定哪些度量更能预测任务之间的转移。
- 全局转移模式分析：
- 通过将任务空间与假设空间（代表预期模型泛化的特征）进行比较，作者们分析了语言模型全局上泛化的特征类型。
- 个体现象分析：
- 作者们进一步分析了不同现象内部的转移模式，以了解模型是如何处理和概括语言现象的。
- 训练过程分析：
- 通过在预训练过程中的不同阶段构建相似性空间，作者们分析了语言模型的语言概念化是如何随着训练的进行而发展的。
通过这些方法，论文不仅提供了一种新的视角来理解语言模型的内部工作机制，还为语言学理论提供了一种新的实证工具。
Q: 论文做了哪些实验？
A: 论文中进行了一系列的实验来验证所提出方法的有效性，并分析语言模型（LMs）的语言概念化过程。以下是实验的主要步骤和发现：
- 预训练语言模型（LMs）：
- 作者们预训练了三种不同规模的生成式语言模型，分别具有约27M、70M和203M的可训练参数。
- 使用BLiMP语料库进行语言能力测试：
- 使用BLiMP（Benchmark of Linguistic Minimal Pairs）语料库来评估语言模型对13种高级语言现象的掌握情况，这些现象进一步细分为67种不同的范式。
- 实施梯度差异微调（FTGD）：
- 在预训练的检查点上测试FTGD方法，以确保其按预期工作，并在所有中间检查点上应用FTGD来解释语言模型在训练过程中的语言概念化变化。
- 相似性探测：
- 通过微调语言模型在特定语言任务上，并测量微调对其他任务性能的影响，来评估任务之间的相似性。这包括性能转移的评估和梯度更新的比较。
- 构建语言任务空间：
- 通过相似性探测方法，作者们获得了包含所有可能的任务对之间相似性值的语言任务空间。
- 比较不同相似性度量：
- 分析了基于不同相似性度量（如性能转移和梯度属性）构建的任务空间，并比较了这些度量与假设空间的相关性。
- 全局转移模式分析：
- 通过比较任务空间与假设空间，分析了语言模型全局上泛化的特征类型。
- 个体现象分析：
- 分析了不同现象内部的转移模式，以了解模型是如何处理和概括语言现象的。
- 训练过程分析：
- 通过在预训练过程中的不同阶段构建相似性空间，分析了语言模型的语言概念化是如何随着训练的进行而发展的。
- 评估FTGD的有效性和选择性：
- 通过与使用完整梯度的常规微调进行比较，证明了FTGD在提高特定语言任务性能方面同样有效，同时对模型的一般语言生成能力干扰较小。
- 分析子空间的发展：
- 观察了模型在训练过程中学习特定范式时所涉及的参数子空间的变化，发现随着训练的进行，这些子空间的平均大小持续增长。
- 相关性和稳定性分析：
- 分析了任务空间与已知结构相似性的假设空间之间的相关性，以及任务空间在训练过程中的稳定性。
这些实验结果表明，随着预训练的进行，语言模型在处理语言任务时变得更加分布式，参数共享和梯度对齐在相关语言任务之间增加。此外，语言模型的泛化模式在训练过程中表现出惊人的稳定性，没有明显的模式转变。这些发现为理解语言模型的语言概念化提供了新的视角，并为未来的研究提供了有价值的见解。
Q: 有什么可以进一步探索的点？
A: 论文在讨论部分提出了一些未来研究的方向，以下是可以进一步探索的关键点：
- 跨领域应用：将解释语言模型（LMs）概念化的方法应用于其他领域，如数值推理和跨语言概念学习，以更好地理解当前大型语言模型（LLMs）的弱点。
- 显式语言假设测试：虽然本文对这一领域进行了初步探索，但显式地使用语言任务空间来测试语言学理论中的假设，可以帮助弥合形式语言学和计算语言学研究之间的差距。
- 更类人的学习范式：研究新一代采用更类人学习范式的语言模型，这些模型可能会表现出更强的泛化模式转变，这可能有助于开发更有效的课程学习策略。
- 数据分布的多样性：解决当前研究所使用的i.i.d.数据来自非常狭窄分布的问题，通过使用更多样化和自然的数据集来评估特定语言任务的微调成功。
- 任务的细粒度定义：探索在其他知识领域中定义任务的细粒度方法，以便更精确地选择性微调任务，因为最小对（minimal pairs）主要在语言学中使用，在其他领域不常见。
- 模型定义的“锚点”：研究通过模型自身定义的“锚点”来描述概念空间的可能性，这可能比使用人类定义的任务来定义空间更准确，具有更高的表达力。
- 内在与外在维度的关系：进一步研究语言模型中内在维度和外在维度的潜在逆关系，以及这种关系如何影响模型的泛化能力和压缩规则。
- 泛化模式的连续性：深入研究为什么语言模型的学习过程中泛化模式保持连续性，而不出现人类学习中典型的阶段性转变。
- 课程学习策略的改进：基于对泛化模式连续性的新理解，探索改进的语言模型课程学习策略。
- 模型的系统性泛化能力：研究如何改进神经网络模型的系统性泛化能力，以更好地模拟人类学习过程。
这些探索点为未来的研究提供了新的方向，旨在提高我们对语言模型的理解，并推动这些模型在更广泛任务和领域中的应用。
Q: 总结一下论文的主要内容
A: 这篇论文提出了一种新的方法来提高我们对语言模型（LMs）内部处理过程的理解。主要内容包括：
- 问题识别：传统的语言模型解释方法主要关注模型在不同基准测试上的表现，但这些方法不能提供关于模型解决方案质量的深入见解。
- 方法论：作者提出了“语言任务空间”的概念，这是一种表示语言模型如何概念化语言的多维空间。通过“相似性探测”和“梯度差异微调”（FTGD）技术，可以评估语言模型在不同语言任务上的相似性和交互作用。
- 实验设计：作者预训练了三种不同规模的语言模型，并使用BLiMP语料库来评估模型对高级语言现象的掌握情况。
- 结果分析：
- 通过相似性探测，作者们发现了语言任务之间的相似性模式，并构建了语言任务空间。
- FTGD技术有效地在保持模型一般语言能力的同时，提高了特定语言任务的性能。
- 随着预训练的进行，语言模型在处理语言任务时变得更加分布式，参数共享和梯度对齐在相关语言任务之间增加。
- 讨论与未来方向：论文讨论了语言模型的泛化模式在训练过程中的稳定性，以及这些模式与人类学习过程的差异。同时，提出了将这种方法应用于其他领域，以及进行显式语言假设测试的可能性。
- 局限性：论文指出了方法的一些局限性，包括使用的i.i.d.数据的狭窄分布，以及在其他知识领域中可能缺乏最小对来定义任务。
- 贡献：作者们的贡献在于提出了一种新的视角来理解语言模型的语言概念化，并为语言学理论提供了一种新的实证工具。
总结来说，这篇论文通过构建语言任务空间和引入新的微调技术，为我们理解语言模型的内部工作机制提供了新的途径，并为未来的研究提供了有价值的见解和方向。