在科技日新月异的今天，大语言模型（LLMs）的应用越来越广泛。然而，随着世界知识的不断更新，这些模型也需要不断地进行知识更新，以纠正错误的回答和应对新兴的事实。这就引出了一个重要的问题：模型的记忆如何管理和更新？本文将介绍一项名为WISE的创新方法，旨在解决大语言模型的知识记忆问题。
友情链接：ACEJoy
大语言模型的挑战
大语言模型在扩展参数数量和计算能力方面展现出了惊人的智能潜力。然而，这些模型在实际应用中仍然会犯错，例如产生幻觉、不准确的回答以及偏见等问题。同时，世界的知识是不断变化的，因此模型在预训练期间所学的知识可能已经过时。
为了应对这些挑战，研究人员提出了“终身模型编辑”的概念，即在不需要重新训练或微调的情况下，持续地更新模型的知识。这种方法不仅能够节省大量的计算成本，还能确保模型能够及时响应最新的知识和事实。
不可能三角：可靠性、泛化性和局部性
有效的终身模型编辑方法需要满足以下三个特性：
- 可靠性：模型在进行一系列编辑后，能够记住当前和之前的所有编辑。
- 局部性：编辑操作不会影响与编辑内容无关的预训练知识。
- 泛化性：模型不仅仅是记住查询和目标对，而是能够理解并泛化这些知识。
然而，现有的方法在这三个特性上往往无法同时满足。这被称为“终身编辑的不可能三角”。
现有方法的局限性
现有的方法主要分为两类：编辑长期记忆和编辑工作记忆。长期记忆是指直接编辑模型的参数，这种方法容易与预训练的知识产生冲突，导致局部性差。工作记忆是指通过检索机制在推理时替换模型的表示，而不改变模型参数。这种方法虽然在可靠性和局部性上表现较好，但在泛化性上表现不佳，因为检索机制难以让模型理解和泛化编辑内容。
WISE：桥接长期记忆与工作记忆的创新方案
WISE（智慧编辑）通过引入双重参数记忆机制，克服了上述不可能三角。它包括主记忆（存储预训练知识）和侧记忆（存储编辑知识）。具体来说，WISE设计了以下组件：
- 侧记忆设计：侧记忆是从模型的某层前馈网络（FFN）中复制出来的一部分，用于存储编辑流。通过这种方式，编辑操作只影响侧记忆，不会改变主记忆，从而避免了知识冲突。
- 记忆路由机制：类似于检索机制，WISE通过一个路由组件来决定在推理时是使用主记忆还是侧记忆。
- 知识分片与合并：为了避免知识遗忘，WISE将侧记忆分成多个子空间进行编辑，然后通过模型合并技术将这些子空间合并成一个共同的侧记忆。
实验与结果
通过在GPT、LLaMA和Mistral等主流大语言模型上的广泛实验，WISE在问答、幻觉和分布外数据集上的表现优于现有的模型编辑方法。实验结果表明，WISE能够在终身模型编辑中更好地同时实现可靠性、泛化性和局部性，打破了不可能三角。
结语
WISE的出现为大语言模型的终身编辑带来了新的希望。它通过巧妙的记忆管理和编辑机制，不仅解决了长期记忆与工作记忆之间的矛盾，还为模型的持续进化提供了强有力的支持。未来，随着技术的不断发展，我们有理由相信WISE及其衍生技术将在更多应用场景中发挥重要作用。
WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models
https://papers.cool/arxiv/2405.14768
Authors: Peng Wang ; Zexi Li ; Ningyu Zhang ; Ziwen Xu ; Yunzhi Yao ; Yong Jiang ; Pengjun Xie ; Fei Huang ; Huajun Chen
Summary: Large language models (LLMs) need knowledge updates to meet the ever-growing world facts and correct the hallucinated responses, facilitating the methods of lifelong model editing. Where the updated knowledge resides in memories is a fundamental question for model editing. In this paper, we find that editing either long-term memory (direct model parameters) or working memory (non-parametric knowledge of neural network activations/representations by retrieval) will result in an impossible triangle — reliability, generalization, and locality can not be realized together in the lifelong editing settings. For long-term memory, directly editing the parameters will cause conflicts with irrelevant pretrained knowledge or previous edits (poor reliability and locality). For working memory, retrieval-based activations can hardly make the model understand the edits and generalize (poor generalization). Therefore, we propose WISE to bridge the gap between memories. In WISE, we design a dual parametric memory scheme, which consists of the main memory for the pretrained knowledge and a side memory for the edited knowledge. We only edit the knowledge in the side memory and train a router to decide which memory to go through when given a query. For continual editing, we devise a knowledge-sharding mechanism where different sets of edits reside in distinct subspaces of parameters, and are subsequently merged into a shared memory without conflicts. Extensive experiments show that WISE can outperform previous model editing methods and overcome the impossible triangle under lifelong model editing of question answering, hallucination, and out-of-distribution settings across trending LLM architectures, e.g., GPT, LLaMA, and Mistral. Code will be released at https://github.com/zjunlp/EasyEdit.
Q: 这篇论文试图解决什么问题？
A: 这篇论文试图解决大型语言模型（Large Language Models, LLMs）在持续更新知识以适应不断变化的世界知识和纠正错误响应（例如幻觉、偏见和事实衰减）时面临的挑战。具体来说，论文关注的核心问题是如何在模型编辑（model editing）过程中有效地更新知识，以实现以下目标：
- 可靠性（Reliability）：模型能够在连续编辑后记住当前和之前的编辑。
- 局部性（Locality）：模型编辑不会影响与编辑知识无关的预训练知识。
- 泛化性（Generalization）：模型不仅仅是记忆查询-目标对，而应该能够在给定相同知识的不同形式查询时理解和泛化。
论文指出，在现有的模型编辑方法中，很难同时实现上述三个目标，这构成了一个“不可能三角”。作者通过提出WISE（Wise Editor）系统，旨在弥合长期记忆（模型参数）和工作记忆（通过检索得到的神经网络激活/表示）之间的差距，打破这一不可能三角，实现更有效的终生模型编辑。
Q: 有哪些相关研究？
A: 这篇论文提到了多个与大型语言模型（LLMs）的知识和记忆更新相关的研究工作。以下是一些主要的相关研究：
- 长期记忆与工作记忆：论文讨论了LLMs中的长期记忆（存储在模型参数中）和工作记忆（存储在神经元激活中）的概念，并引用了相关研究来支持这一分类。
- 模型编辑：论文提到了几种模型编辑方法，包括：
- ROME：使用MLP（多层感知器）作为关键-值存储，通过最小二乘近似进行编辑。
- MEMIT：扩展了ROME，支持多层编辑，允许同时更新成百上千的事实。
- FT-EWC：使用弹性权重巩固（Elastic Weight Consolidation）来减轻灾难性遗忘。
- MEND：使用超网络（hypernetworks）来转换梯度，以实现更泛化的编辑。
- SERAC/DEFER：使用额外的小模型来存储编辑知识，并通过一个范围分类器和反事实模型进行检索和生成。
- GRACE：使用离散的键-值码本，在推理时检索并替换隐藏层的激活。
- 记忆增强：论文讨论了一些旨在增强LLMs记忆能力的研究，例如：
- MemoryLLM：提出一种具有可更新记忆的LLM架构。
- SPALM：结合了工作记忆和长期记忆的存储模块。
- Memoria：一种类似于人类顺序处理的Hebbian记忆架构。
- 知识注入：论文探讨了如何通过不同的方法向LLMs注入或更新知识，包括原位学习（in-context learning）和检索增强生成（retrieval-augmented generation）。
- 模型融合：论文提到了一些模型融合技术，这些技术研究如何将不同模型的知识聚合到一个模型中，例如：
- TIES-Merging：一种解决干扰并合并模型参数的方法。
- MergeKit：一个用于合并大型语言模型的工具包。
- 持续学习：论文讨论了持续学习领域中的一些方法，这些方法旨在解决深度学习模型在学习新知识时遭受的灾难性遗忘问题。
- 其他：论文还提到了一些其他与LLMs的编辑、记忆和知识更新相关的研究。
这些研究为理解LLMs的记忆机制、改进模型编辑方法以及解决知识更新中的挑战提供了理论基础和实践指导。论文通过综合这些研究成果，提出了WISE系统，旨在克服现有方法的局限性，实现更有效的终生模型编辑。
Q: 论文如何解决这个问题？
A: 论文通过提出WISE（Wise Editor）系统来解决大型语言模型（LLMs）在持续知识更新和模型编辑中遇到的挑战。WISE系统的设计包含以下几个关键组件和策略：
- 双参数记忆方案：WISE引入了一个主记忆（main memory）和一个侧记忆（side memory）。主记忆用于存储预训练知识，而侧记忆用于存储编辑后的知识。
- 记忆路由机制：WISE训练了一个路由器（router），在给定查询时决定通过哪个记忆（主记忆或侧记忆）进行处理。这类似于基于检索的方法，允许模型在处理与编辑相关的查询时使用侧记忆，而在处理不相关的查询时使用主记忆。
- 知识分割与合并：为了持续编辑，WISE设计了一种知识分割机制，将不同的编辑集合存储在参数的不同子空间中。这些子空间随后通过一种称为Ties-Merge的模型合并技术合并到一个共享的侧记忆中，避免了冲突。
- 侧记忆设计：侧记忆被初始化为LLM的某个FFN（Feed-Forward Network）层的副本，专门用于存储编辑流。这种方法避免了直接在原始参数上进行编辑，从而减少了对预训练知识的干扰。
- 路由激活指示：为了在推理时确定使用主记忆还是侧记忆，WISE引入了一个基于激活的路由指示器。这个指示器基于输入查询的激活值来决定使用哪个记忆。
- 随机梯度掩码：在知识分割过程中，WISE使用随机梯度掩码来编辑侧记忆的不同子空间。这些掩码是二进制的，其中一部分参数被随机选择进行更新，而其余参数保持不变。
- Ties-Merge合并技术：为了合并不同子空间的知识，WISE采用了Ties-Merge技术，该技术通过修剪冗余参数、选择参数的符号以及计算具有相同正确符号的参数的不相交平均值来解决冲突。
通过这些设计和策略，WISE旨在实现在LLMs的终生模型编辑中的高可靠性、局部性和泛化性，克服了现有方法难以同时实现这三个目标的“不可能三角”问题。论文通过在不同的LLM架构（如GPT、LLaMA和Mistral）上进行广泛的实验，验证了WISE在问答、幻觉和分布外设置下的有效性。
Q: 论文做了哪些实验？
A: 论文中进行了一系列实验来验证WISE（Wise Editor）系统在终生模型编辑中的有效性。以下是实验的主要设置和结果：
- 实验设置：
- 数据集：使用了ZsRE（闭卷问答任务）、SelfCheckGPT（幻觉检测）、Temporal（分布外泛化）等数据集。
- 模型：选择了流行的自回归大型语言模型LLaMA-2-7B、Mistral-7B和GPT-J-6B进行评估。
- 基线：与多种现有的模型编辑和持续学习方法进行了比较，包括FT-L、FT-EWC、ROME、MEMIT、MEND、SERAC/DEFER和GRACE。
- 评估指标：
- 可靠性（Reliability）：模型在编辑后能够正确预测编辑查询的能力。
- 泛化性（Generalization）：模型对不同形式查询的理解和泛化能力。
- 局部性（Locality）：模型编辑不会影响与编辑无关的预训练知识。
- 主要结果：
- WISE在多个任务和长期编辑序列后的表现优于现有方法。
- 直接编辑长期记忆的方法（如ROME、MEMIT等）与之前的预训练知识产生冲突，导致局部性差。
- 基于检索的工作记忆修改激活的方法（如GRACE、DEFER等）在多样化查询中泛化能力不足。
- 分布外评估：
- 使用Temporal数据集测试了模型编辑方法在新兴实体上的分布外泛化能力。WISE在处理分布外泛化任务时表现优异。
- 进一步分析：
- 路由激活的可视化：展示了WISE的记忆路由模块在不同编辑次数下的激活值，证明了其在保持编辑局部性和防止预训练分布发生大的变化方面的效果。
- 侧记忆的定位分析：分析了在不同阶段的解码器层中编辑的效果，发现中后层是理想的侧记忆层。
- ρ和k的分析：研究了WISE中重要的超参数——掩码比例ρ和子空间数量k，发现存在一个固有的合并锚点和合并冲突之间的权衡。
- 扩展到3K次编辑：将连续编辑次数扩展到3K，发现WISE系列在高可扩展性方面保持了高性能。
- 推理时间分析：
- 分析了WISE在不同编辑次数下的推理时间，发现WISE-Merge引入了恒定的推理延迟，而WISE-Retrieve由于引入了检索路由，随着编辑次数的增加，推理时间有所增加。
通过这些实验，论文证明了WISE在大型语言模型的终生编辑中实现了高可靠性、局部性和泛化性，克服了现有技术的局限。
Q: 有什么可以进一步探索的点？
A: 尽管WISE在终生模型编辑方面取得了显著的成果，但仍有一些潜在的探索方向可以进一步改进和扩展其能力：
- 侧记忆检索的改进：如文中所述，侧记忆检索的准确性有待提高。可以通过更精细的激活管理或增强侧记忆之间的特异性来改进检索过程。
- 编辑指令的优化：在某些情况下，WISE在处理特定编辑指令时可能会出现错误。研究如何优化编辑指令以提高模型的准确性和一致性可能是一个有价值的方向。
- 跨领域编辑能力：WISE在单一数据集上的性能较好，但在跨领域编辑时可能会遇到挑战。探索如何使WISE能够更好地处理不同领域的知识编辑是一个重要的研究方向。
- 知识锚点的作用：文中提到知识锚点在模型合并中的重要性。进一步研究如何利用知识锚点来提高模型的泛化能力和稳定性值得深入探讨。
- 计算成本的优化：虽然WISE在计算成本方面表现出了较好的效率，但随着编辑次数的增加，如何更有效地管理计算资源仍然是一个值得关注的点。
- 模型泛化性的进一步提升：尽管WISE在某些任务上表现出了良好的泛化能力，但在某些情况下，如文中所述的一般化失败案例，模型的泛化性仍有提升空间。
- 模型解释性：提高模型编辑过程的可解释性，帮助研究人员和用户理解模型是如何进行知识更新和决策的，这对于建立信任和透明度至关重要。
- 安全性和伦理考量：随着技术的发展，确保模型编辑过程符合伦理标准并防止滥用是非常重要的。研究如何设计安全防护措施和伦理指导原则是一个关键议题。
- 多模态编辑能力：当前的研究主要集中在文本编辑上，未来可以探索如何将WISE扩展到多模态场景，例如结合图像、视频和文本进行知识编辑。
- 实时编辑和增量学习：研究如何使WISE能够支持实时编辑和增量学习，这对于动态环境中的知识更新尤为重要。
- 与其他记忆增强技术的集成：考虑将WISE与其他记忆增强技术（如增强工作记忆或长期记忆的方法）结合，以进一步提升LLMs的记忆和编辑能力。
- 社区和开源协作：鼓励社区参与和开源协作，以便集思广益，共同推动终生模型编辑技术的发展和应用。
这些探索点不仅可以推动WISE技术的进步，还可能对整个大型语言模型编辑和持续学习领域产生深远影响。
Q: 总结一下论文的主要内容
A: 这篇论文的主要内容可以概括为以下几点：
- 问题识别：论文指出大型语言模型（LLMs）在持续更新知识和纠正错误响应时面临挑战。现有的模型编辑方法难以同时实现可靠性、局部性和泛化性，构成了一个“不可能三角”。
- WISE系统：为了解决这个问题，论文提出了WISE（Wise Editor）系统。WISE采用双参数记忆方案，包括主记忆和侧记忆，并通过路由器决定在给定查询时使用哪个记忆。
- 知识分割与合并：WISE引入了知识分割机制，将编辑知识存储在不同的参数子空间中，并通过Ties-Merge技术合并这些子空间，避免了知识冲突。
- 侧记忆设计：侧记忆被初始化为LLM的某个FFN层的副本，专门用于存储编辑流，避免了直接在原始参数上进行编辑。
- 路由激活指示：WISE使用基于激活的路由指示器来决定在推理时使用主记忆还是侧记忆。
- 实验验证：论文通过在问答、幻觉检测和分布外泛化等任务上的实验，验证了WISE在不同LLM架构（如GPT、LLaMA和Mistral）上的有效性。
- 分析与讨论：论文对WISE的路由激活、侧记忆定位、超参数选择等进行了深入分析，并讨论了如何改进检索准确性和模型泛化能力。
- 结论：WISE成功克服了现有终生模型编辑方法的局限，实现了高可靠性、局部性和泛化性的统一，为大型语言模型的知识更新提供了一种有效的解决方案。
- 未来工作：论文提出了一些未来可能的研究方向，包括改进侧记忆检索、优化编辑指令、提高跨领域编辑能力和模型泛化性等。
整体而言，这篇论文在终生模型编辑领域做出了重要贡献，提出了一种创新的解决方案，并对其进行了全面的评估和分析。