神经辐射场 （NeRF） 方法已被证明是 3D 场景的紧凑、高质量和多功能表示，并支持编辑、检索、导航等下游任务。各种神经架构都在争夺NeRF的核心结构，包括普通的多层感知器（MLP）、稀疏张量、低秩张量、哈希表及其组成。这些表示形式中的每一种都有其特定的权衡。例如，基于哈希表的表示允许更快的训练和渲染，但它们缺乏明确的几何含义，阻碍了下游任务，如空间关系感知编辑。在本文中，我们提出了渐进式体积蒸馏（PVD），这是一种系统的蒸馏方法，允许不同架构之间的任意转换，包括MLP、稀疏或低秩张量、哈希表及其组成。因此，PVD 使下游应用程序能够以事后方式对手头的任务进行最佳调整神经表示。转换速度很快，因为蒸馏是在不同级别的体积表示上逐步进行的，从浅到深。我们还采用了特殊的密度处理来处理其特定的数值不稳定问题。在NeRF-Synthetic、LLFF和TanksAndTemples数据集上验证了我们的方法。例如，使用 PVD，可以从基于哈希表的 Instant-NGP 模型中提炼出基于 MLP 的 NeRF 模型，其速度比从头开始训练原始 NeRF 快 10 倍~20 倍，同时实现卓越的合成质量水平。代码可在 https://github.com/megvii-research/AAAI2023-PVD 上获得。

---

Key Points

• 1. Novel view synthesis (NVS) 是一种生成 photo realistic 2D 图像的技术，用于三维场景的未知视角。NVS 已在渲染、定位和机器人手臂操作等领域得到广泛应用。最近开发的神经辐射场（NeRF）提供了神经建模能力。
  
  2. NeRF 可以显著提高 NVS 的质量，利用多层感知器（MLP）的强大泛化能力。采用特征张量作为辅助的显性表示，以减轻 MLP 记住场景所有细节，从而实现更快的训练速度和更灵活的几何结构操作。
  
  3. 特征张量过大导致寻找更紧凑表示的需求。TensorRF 等方法利用 VM（向量 – 矩阵）分解和序数分解（CPD）等方法实现特征张量的有效压缩。
  
  4. 所有这些方案都有其优缺点。一般来说，使用隐性表示更容易对场景进行纹理编辑和动态场景建模。但使用显性或混合表示通常具有更快的训练速度，能更好地处理几何上的编辑。
  
  5. 由于 NVS 的下游任务多样性，没有单一的最佳表示。选择特定的表示取决于具体的应用场景和可用的硬件计算能力。
  
  6. 在本文中，我们提出了一种方法，可以在已知的 NeRF 架构之间实现任意转换，包括 MLP、稀疏张量、低秩张量、哈希表以及它们的组合。这种灵活的转换可以带来以下优点：深入了解 NeRF 中丰富且不断发展的架构体系结构，消除给设计带来的负担，适应训练好的模型以满足未来可能发现的应用场景需求。
  
  7. PVD（渐进体积蒸馏）是一种在不同体积表示水平上操作的蒸馏方法，特别关注密度体积以获得更好的数值稳定性。PVD 能够实现不同 NeRF 架构之间的任何-to-any 转换，包括 MLP、稀疏张量、低秩张量和哈希表架构。
  
  8. Neural implicit representation 方法使用 MLP 从坐标空间构建 3D 场景，如 NeRF 所提出（Mildenhall 等人，2020）。MLP 的输入是 5D 坐标，输出是体积密度和视相关颜色。
  
  9. 隐含建模的优点是，表示有助于控制或更改场景的类似属性。Kobayashi、Matsumoto 和 Sitzmann 使用预训练的 CLIP 模型（Radford 等人，2021）。
  
  10. Explicit representations 将场景直接放置在 3D 格中（巨大的张量）。NVS 领域已经进行了多次尝试。Barron 等人提出了一种方法。
  
  11. 我们试图在不同的 NeRF 架构之间实现相互转换。由于架构数量不断增加，我们不试图逐个实现这些转换。相反，我们首先将典型架构以统一的形式表示，然后根据统一视图设计一种基于统一视图的蒸馏方案。
  
  12. 我们得出的公式包括像 NeRF 中的 MLP 这样的隐含表示、像 Plenoxels 中的稀疏张量这样的显式表示，以及两种混合表示：哈希表（INGP）和低秩张量（TensorRF 中的 VM 分解）。
  
  13. 一旦形成，这些架构及其组合之间的任何-to-any 转换都是可能的。
  
  14. 接下来，我们将简要介绍一些基础知识，然后详细介绍我们的方法。
  
  15. NeRF 用一个隐函数将空间点 x = (x, y, z) 和视方向 d = (θ, φ) 映射到密度σ和颜色 c。对于沿光线方向 r 从点 o 出发的相应像素的 RGB 值ŷ(r)，通过 color c i 和空间点 x i = o + t i d 沿着光线采样得到：其中 T i = exp(-i-1j=1σiδi)，δi 是相邻样本之间的距离。
  
  16. 张量和张量低秩表示。Plenoxels 通过显式网格（张量）直接表示 3D 场景（Fridovich-Keil 等人，2022）。每个网格点都存储密度和球面谐波（SH）系数。颜色 c 根据 SH 和观察方向 d 计算。

Related Work

• 1. Novel view synthesis (NVS) 生成 photo realistic 2D 图像，用于三维场景的未知视角（周等人，2018 年; 坎等人，2021 年; 西特曼，祖豪费和威斯坦，2019 年 a），并在渲染、定位和机器人手臂操作（Adamkiewicz 等人，2022 年; Moreau 等人，2022 年; Peng 等人，2021 年）等领域具有广泛的应用，特别是最近开发的神经辐射场（NeRF）提供了神经建模能力。
  2. 利用多层感知器（MLP）的强大泛化能力，NeRF 可以显著提高 NVS 的质量。
  3. 采用特征张量作为辅助的显性表示，以减轻 MLP 记住场景所有细节，从而实现更快的训练速度和更灵活的几何结构操作。
  4. 特征张量过大导致寻找更紧凑表示的需求，如 TensorRF（Chen 等人，2022 年）利用 VM（向量 – 矩阵）分解和序数分解（CPD），Fridovich-Keil 等人利用张量的稀疏性，而 INGP（Müller 等人，2022 年）利用多级哈希表实现特征张量的有效压缩。
  5. 所有这些方案都有其优缺点。一般来说，使用隐性表示更容易对场景进行纹理编辑（例如颜色、照明变化和变形等），艺术的风格化和动态场景建模（Tang 等人，2022 年; Kobayashi，Matsumoto 和 Sitzmann，2022 年; Pumarola 等人，2021 年; Gu 等人，2021 年; Zhan 等人，2021 年）。
  6. 然而，使用显性或混合表示通常具有更快的训练速度，因为它们具有更浅层的表示，能更好地处理几何上的编辑，例如场景的合并和其他操作，与纯隐性表示的情况形成鲜明对比。
  7. 由于 NVS 的下游任务多样性，没有单一的最佳表示。选择特定的表示取决于具体的应用场景和可用的硬件计算能力。
  8. 在本文中，我们从另一个角度处理这个问题。我们提出了一种方法，可以在已知的 NeRF 架构之间实现任意转换，包括 MLP、稀疏张量、低秩张量、哈希表以及它们的组合。这种灵活的转换可以带来以下优点。首先，该研究将深入了解 NeRF 中丰富且不断发展的架构体系结构。其次，这种转换消除了在事先确定架构之前给设计带来的负担，因为现在他们可以只需适应训练好的模型以满足未来可能发现的应用场景需求。最后，在教师和学生具有不同属性的情况下，可以利用这种辅助优势。例如，当使用具有哈希表的教师模型蒸馏学生模型的显性表示时，现在可以从教师的速度中受益，同时仍然生成具有清晰几何结构的学

Method

• 作者通过以下方法取得结果:
  
  1. 利用 Novel view synthesis (NVS) 生成 photo realistic 2D 图像，用于三维场景的未知视角，并在渲染、定位和机器人手臂操作等领域具有广泛的应用。
  2. 利用多层感知器 (MLP) 的强大泛化能力，显著提高 NVS 的质量。
  3. 采用特征张量作为辅助的显性表示，以减轻 MLP 记住场景所有细节，从而实现更快的训练速度和更灵活的几何结构操作。
  4. 特征张量过大导致寻找更紧凑表示的需求，如 TensorRF(Chen 等人，2022 年) 利用 VM(向量 – 矩阵) 分解和序数分解 (CPD),Fridovich-Keil 等人利用张量的稀疏性，而 INGP(Müller 等人，2022 年) 利用多级哈希表实现特征张量的有效压缩。
  5. 所有这些方案都有其优缺点。一般来说，使用隐性表示更容易对场景进行纹理编辑 (例如颜色、照明变化和变形等),艺术的风格化和动态场景建模 (Tang 等人，2022 年; Kobayashi,Matsumoto 和 Sitzmann,2022 年; Pumarola 等人，2021 年; Gu 等人，2021 年; Zhan 等人，2021 年)。
  6. 然而，使用显性或混合表示通常具有更快的训练速度，因为它们具有更浅层的表示，能更好地处理几何上的编辑，例如场景的合并和其他操作，与纯隐性表示的情况形成鲜明对比。
  7. 由于 NVS 的下游任务多样性，没有单一的最佳表示。选择特定的表示取决于具体的应用场景和可用的硬件计算能力。
  8. 在本文中，作者提出了一种方法，可以在已知的 NeRF 架构之间实现任意转换，包括 MLP、稀疏张量、低秩张量、哈希表以及它们的组合。这种灵活的转换可以带来以下优点。首先，该研究将深入了解 NeRF 中丰富且不断发展的架构体系结构。其次，这种转换消除了在事先确定架构之前给设计带来的负担，因为现在他们可以只需适应训练好的模型以满足未来可能发现的应用场景需求。最后，在教师和学生具有不同属性的情况下，可以利用这种辅助优势。
  9. 作者还提出了一种方法，称为 PVD(渐进体积蒸馏),用于在不同体积表示水平上操作的蒸馏方法，特别关注密度体积以获得更好的数值稳定性。PVD 能够实现不同 NeRF 架构之间的任何-to-any 转换，包括 MLP、稀疏张量、低秩张量和哈希表架构。这是第一个系统尝试这种转换。
  10. 作者还提出了一种基于统一视图的蒸馏方案，可以在不同的 NeRF 架构之间实现相互转换。作者得出的公式包括像 NeRF 中的 MLP 这样的隐含表示、像 Plenoxels 中的稀疏张量这样的显式表示，以及两种混合表示：哈希表 (INGP) 和低秩张量 (TensorRF 中的 VM 分解)。
  11. 一旦形成，这些架构及其组合之间的任何-to-any 转换都是可能的。
  12. 接下来，作者简要介绍了一些基础知识，然后详细介绍了他们的方法。

Result

• 实验结果：
  
  1. 利用 Novel view synthesis (NVS) 生成了 photo realistic 2D 图像，用于三维场景的未知视角，并在渲染、定位和机器人手臂操作等领域具有广泛的应用。
  2. NeRF 可以显著提高 NVS 的质量，同时采用特征张量作为辅助的显性表示，以减轻 MLP 记住场景所有细节，从而实现更快的训练速度和更灵活的几何结构操作。
  3. 特征张量过大导致寻找更紧凑表示的需求，如 TensorRF（Chen 等人，2022 年）利用 VM（向量 – 矩阵）分解和序数分解（CPD），Fridovich-Keil 等人利用张量的稀疏性，而 INGP（Müller 等人，2022 年）利用多级哈希表实现特征张量的有效压缩。
  4. 所有这些方案都有其优缺点。一般来说，使用隐性表示更容易对场景进行纹理编辑（例如颜色、照明变化和变形等），艺术的风格化和动态场景建模（Tang 等人，2022 年; Kobayashi，Matsumoto 和 Sitzmann，2022 年; Pumarola 等人，2021 年; Gu 等人，2021 年; Zhan 等人，2021 年）。
  5. 然而，使用显性或混合表示通常具有更快的训练速度，因为它们具有更浅层的表示，能更好地处理几何上的编辑，例如场景的合并和其他操作，与纯隐性表示的情况形成鲜明对比。
  6. PVD（渐进体积蒸馏）是一种在不同体积表示水平上操作的蒸馏方法，从浅到深，特别关注密度体积以获得更好的数值稳定性。
  7. PVD 能够实现不同 NeRF 架构之间的任何-to-any 转换，包括 MLP、稀疏张量、低秩张量和哈希表架构。这是第一个系统尝试这种转换。
  8. Neural implicit representation 方法使用 MLP 从坐标空间构建 3D 场景，如 NeRF 所提出（Mildenhall 等人，2020）。
  9. MLP 的输入是 5D 坐标（空间位置 [x, y, z] 和查看方向 [θ, φ]，输出是体积密度和视相关颜色）。
  10. 隐含建模的优点是，表示有助于控制或更改场景的类似属性。
  11. Kobayashi、Matsumoto 和 Sitzmann 使用预训练的 CLIP 模型（Radford 等人，2021）。
  12. explicit representations 将场景直接放置在 3D 格中（巨大的张量）。
  13. 在不同的 NeRF 架构之间实现相互转换。由于架构数量不断增加，我们不逐个实现这些转换。相反，我们首先将典型架构以统一的形式表示，然后根据统一视图设计一种基于统一视图的蒸馏方案。
  14. 我们得出的公式包括像 NeRF 中的 MLP 这样的隐含表示、像 Plenoxels 中的稀疏张量这样的显式表示，以及两种混合表示：哈希表（INGP）和低秩张量（TensorRF 中的 VM 分解）。
  15. 一旦形成，这些架构及其组合之间的任何-to-any 转换都是可能的。

Conclusion

• 1. 作者在这篇论文中得到的主要结论如下：
  * Novel view synthesis (NVS) 技术可以生成 photo realistic 2D 图像，用于三维场景的未知视角，并在渲染、定位和机器人手臂操作等领域具有广泛的应用。
  * NeRF 模型可以显著提高 NVS 的质量，而采用特征张量作为辅助的显性表示可以减轻 MLP 的记忆场景所有细节，从而实现更快的训练速度和更灵活的几何结构操作。
  * 特征张量过大导致寻找更紧凑表示的需求，因此作者提出了一些方法，如 TensorRF，利用 VM（向量 – 矩阵）分解和序数分解实现特征张量的有效压缩。
  * 所有这些方案都有其优缺点。一般来说，使用隐性表示更容易对场景进行纹理编辑和艺术的风格化和动态场景建模。
  * 然而，使用显性或混合表示通常具有更快的训练速度，因为它们具有更浅层的表示，能更好地处理几何上的编辑。
  * 选择特定的表示取决于具体的应用场景和可用的硬件计算能力。
  * 该论文提出了一种方法，可以在已知的 NeRF 架构之间实现任意转换，包括 MLP、稀疏张量、低秩张量、哈希表以及它们的组合。
  * 这种灵活的转换可以带来以下优点：深入了解 NeRF 中丰富且不断发展的架构体系结构，消除给设计带来的负担，适应训练好的模型以满足未来可能发现的应用场景需求。
  * 作者还提出了一种 PVD（渐进体积蒸馏）方法，可以在不同体积表示水平上操作的蒸馏方法，以获得更好的数值稳定性。

最近在表示学习领域的研究表明，层次数据在双曲空间中可以得到低维且高度信息丰富的表示。 然而，尽管在图像识别中双曲嵌入已经引起了人们的关注，但它们的优化仍然容易受到数值障碍的影响。 此外，与传统欧氏特征相比，尚不清楚哪些应用最有可能从双曲性所施加的隐式偏差中受益。 在本文中，我们关注原型双曲神经网络。 特别地，高维空间中双曲嵌入趋向于收敛到Poincaré球体的边界，以及这对少样本分类的影响。 我们发现，在公共双曲半径下的双曲嵌入可以获得最佳少样本结果。 与之前的基准结果相比，我们证明了使用欧氏度量的固定半径编码器可以实现更好的性能，而不管嵌入维数如何。

---

• 重点：
  1. 超球面（hyperbolic space）与欧氏空间（Euclidean space）相似，但曲率不同。
  2. 超球面存在多种同形模型，其中最常见的模型是超球面（hyperboloid）和波恩卡雷球（Poincaré ball）。
  3. 在机器学习中，超球面模型最常见的应用是波恩卡雷球模型。
  4. 波恩卡雷球模型可以从一个超球面模型（hyperboloid model）得到。
  5. 在本文中，我们将使用波恩卡雷球模型，该模型可以从超球面模型（hyperboloid model）得到。
  6. 考虑 Minkowski 空间 Rd，1={x=(x1, …, xd+1)∈Rd×R}，以及双线性形式（Lorentz 伪标量）L⟨x, x⟩。
  7. L 形式在 Rd，1 上不是正定，但在 d-hyperboloid 上半平面内的曲率 k<0 时，是正定的。
  8. 我们可以通过包容映射ϕ将波恩卡雷球模型从超球面模型得到。
  9. 波恩卡雷球模型在原点处的指数映射是 TPd k → Pd k。
  10. 这使得我们可以将欧氏空间的神经网络转换为超球空间的神经网络。
  11. 在波恩卡雷球模型中，从任何∈Pd k 的 x 和 y 之间的最短路径距离可以通过计算 Pincaré球（Poincaré ball）得到。
  12. Ressler 等人提出的剪枝策略包括为 f(x; θ) 设置最大幅度 c，将波恩卡雷球缩小到半径为 c 的球中。
  13. 在训练过程中，对于合适的损失函数 L，以及 z := h(x; θ)∈Pd k，可以对欧氏梯度∇z L 进行反向传播（见 [13] 的实现），或者将其转换为 Riemannian 梯度通过反比例缩放 grad z L = λ(z) -2 ∇z L(z)，如 [12] 中所示。

大规模语言模型（LLM）的涌现出的少量样本推理能力近年来激发了自然语言和机器学习社区的兴趣。尽管有众多的成功应用，但这种上下文能力的潜在机制仍然尚不清楚。在这项工作中，我们假设在推理过程中，所学语言标记的 \\textit{语义} 承担了最繁重的工作。与人类的符号推理过程不同，LLM的语义表示可以在标记之间建立强烈的联系，从而组成一个肤浅的逻辑链。为了测试我们的假设，我们从语言推理过程中解耦语义，并评估三种推理能力，即演绎、归纳和溯因。我们的发现揭示了语义在LLM的上下文推理中起着关键作用 — 当语义与常识一致时，LLM的表现要好得多，但利用上下文新知识在解决符号或反常识推理任务方面却很困难。这些惊人的观察质疑现代LLM是否已经掌握了与人类智能相同的归纳、演绎和溯因推理能力，并激励研究揭示黑盒LLM中存在的魔力。总的来说，我们的分析为语义在开发和评估语言模型推理能力中的作用提供了一个新的视角。代码可在 https://github.com/XiaojuanTang/ICSR 获取。

---

Introduction

• 近年来，大型语言模型（LLMs）已经在各种自然语言任务中取得了显著的性能，包括问答、文本摘要、机器翻译、逻辑推理等。这些成功主要归功于 LLMs 能够利用“零次”或“几次”学习方法而无需任何梯度更新 – 任务描述或几个例子来引导其推理过程 [1][2][3][4]。一个典型的例子是“链式思维”（CoT）方法，涉及推理演示或简单的提示，例如“让我们一步一步地思考”来执行复杂推理任务 [5,6]。尽管 LLMs 具有强大的上下文学习能力，但它们在给定上下文中的运作机制仍不清楚。先前的研究调查了给定示例中哪些方面有助于最终任务绩效，包括地面真实标签和示例顺序 [7][8][9]。另一条线的工作重点在于解释和利用上下文学习（ICL）机制 [10][11][12][13]。然而，它们共同的基本问题是，它们输入的上下文提示是基于自然语言查询来探究 LLMs 的推理能力。根据双过程理论 [14,15]，人类通常使用系统 II 的符号推理来解决复杂的逻辑推理问题。为了填补研究空白，我们通过将语义与语言推理过程解耦来系统地研究 LLMs 的上下文推理能力。通过广泛的实验，我们旨在回答以下研究问题：LLMs 是否在没有语义的情况下是好的上下文推理器？在本工作中，我们假设语言标记的学习确实在推理过程中发挥了重要作用，创建了标记之间强烈的连接，从而形成一个表面逻辑链（捷径），而不是真正执行正式推理过程。为了测试我们的假设，给定符号知识（事实和规则），我们在新提出的合成数据集上测试三种推理能力（即演绎、归纳和演绎推理）：由逻辑规则生成的封闭世界、无噪音的多跃点符号推理数据集 Symbolic Tree dataset。此外，我们还使用 ProofWriter [16] Depth-1 任务，该任务包含答案需要推理多达深度 D=1 的问题。我们的研究结果表明，语义确实在 LLMs 的上下文推理中发挥了重要作用：当语义与常识一致时，LLMs 表现相当良好；当语义与上下文背景不一致或为反常语义时，LLMs 无法通过利用上下文新知识来解决推理任务。此外，我们还研究了 LLMs 的忆

Related Works

• 1. 推理在 LLMs 中的重要性：推理是涉及逻辑推断和基于给定信息的合乎逻辑的结论的基本认知过程。在自然语言处理领域（NLP）早期就已经进行了大量的研究。
  2. 推理相关的基准：随着 NLP 领域的研究，各种关注推理的基准已经提出，包括自然语言推理（NLI）[18][19][20]、常识推理 [21,22]、多跳推理 [23,24] 等。
  3. 对 LLM 推理能力的兴趣增加：近年来，人们对研究 LLM 的推理能力越来越感兴趣。研究人员探讨了各种方法，以便让 LLM 在推理任务上表现更好。
  4. 链式思维（CoT）的提出：CoT 被提出，以便让模型生成一个推理路径，将复杂的推理分解成多个较小的步骤。在数学 [26]、常识 [21,27] 和符号推理 [5] 基准上，这种方法显著提高了性能。
  5. 模糊语义下的推理能力：尽管在各种推理基准上取得了显著的性能，但所有任务都富含语义。因此，还不清楚 LLM 的推理能力来自哪里。这促使我们研究在语义解耦的情况下分析 LLM 的推理能力。
  6. 上下文学习与推理能力的关系：上下文学习（ICL）与 LLM 的推理能力密切相关。ICL 是指语言模型在推理过程中从几个示例中学习并适应的能力。
  7. 改进 ICL 的研究：一些研究使用现有的无监督相似性度量或训练提示检索器来选择相关示例 [28][29][30]，others 将任务指令或不同的任务提示 [31,32] 纳入其中。
  8. ICL 性能的变异性：尽管在实证上取得了成功，但上下文示例的选择可能会导致很大的性能波动 [34,9]。最近的研究还探索了 ground-truth 标签和问题，ground-truth 输入输出映射是否必要，仅使用不正确的标签在示例中只略微降低性能 [35]，而上下文示例中的输入 – 标签一致性在 contextual demonstration 中起重要作用 [36]。
  9. 理解为什么上下文学习有效：一些研究提供了理论分析，将上下文学习表示为贝叶斯推断 [13]，或者某些示例中的 ICL 可以理解为已知学习算法的隐实现 [37]。然而，现有的上下文学习能力分析主要基于自然语言输入和丰富的语义信息。我们猜测，这个图 1 中的任务定义。记忆：从上下文知识中检索预测的事实。演绎：根据规则和事实预测预测的事实的正确性。归纳：根据具有相似模式的多个事实生成规则。类比：根据给定的规则和事实解释预测的事实。可能无法反映其在推导、归纳和类比方面的真正水平。

Task Definitions

• 1. 推理和记忆机制的定义及其任务描述
  2. 记忆在推理中的关键作用，包括存储推理过程中所需的上下文知识
  3. 可以将记忆视为深度为 0 的推理，其中问题是一个已知事实
  4. 推理任务涉及从存储的上下文知识中检索事实本身
  5. 语义对记忆的影响尚未得到充分研究，因此除了将语义从推理中解耦外，我们还试图研究语义对记忆的影响
  6. 使用新数据集微调语言模型，测试其在时间、效率和遗忘比例方面的表现
  7. 在评估是否成功添加或更新一个事实时，我们查询 LLM，使用关于尾实体的问

Semantics Matter in LLMs’ memorizing

• 本文比较了 LLM 的记忆力与对新符号和语义信息的记忆力。结果报告在表 1 中。从表 1 中，我们可以看到添加和更新语义知识的效率比添加和更新符号知识更高。这表明，与人类记忆能力相似，LLMs 更容易记住语义知识而不是符号知识（通常记忆符号比理解相关语义更具有挑战性）。然而，我们还在语义设置中的遗忘比例上发现，语义设置的遗忘比例比符号设置高。这可以归因于 LLMs 中语义知识具有更强的系数，这意味着在更新某些知识时，对系统中的其他知识产生更重大影响。在将 LLM 与图数据库 Neo4j 的比较中，我们可以看到，无论插入或编辑新的三元组，使用 Neo4j 进行知识更新都达到 100% 的准确率，无论知识是符号还是语义。预料之中，因为添加或更新的知识不与现有知识集重叠，所以不会对现有知识库产生进一步影响。这突出了使用非参数化知识库的优势。此外，与 LLM fine-tuning 的计算成本相比，使用优化存储机制的图数据库更新知识显著更快。这表明将 LLM 与非参数化知识库相结合可以提供在实际应用中更实际、更有效的途径。我们首先考虑将语义从上下文推理中解耦与保留原始语义之间的影响。在表 2 中，我们展示了在 Symbolic Tree 数据集上进行演绎、归纳和类比推理任务的结果。从表 2 中，我们观察到在两个演绎和归纳推理场景中，语义设置显著优于符号设置。值得注意的是，在归纳实验中，语义设置比符号设置大约高 30% 的准确度。这表明，在推理过程中保留丰富的语义可以使 LLM 的表现更好。虽然类比推理中，符号设置与语义设置的结果相当，但重要的是要注意，类比推理任务中的长上下文知识可能增加从记忆中选择相关信息和推理的难度。为了进一步研究这个问题，我们在一个更小的 Symbolic Tree 数据集上进行了额外的实验，结果在附录 O 中证实了语义设置仍然优于符号设置。这证实了保留语义可以提高 LLM 的推理能力。尽管 LLM 具有丰富的语义和强大的语言理解能力，但在与专门用于符号推理的方法相比，它们在推理任务上表现不佳。这表明，尽管 LLM 拥有广泛的知識庫和強大的語言理解能力，但 symbolic reasoning 不是它們相对于特定 symbolic-based reasoning 方法的主要优势。上述实验为语义对 LLM 推理的重要性提供了初步证据。

Conclusion and Discussion

• 本文介绍了首次对 LLM 推理能力中语义学角色的全面调查，通过将语义学与上下文提示分离。实验结果表明，当语义与常识一致时，LLM 表现相当良好；当语义与上下文不同时，LLM 无法通过利用上下文中的新知识来解决推理任务。这些发现揭示了语义在 LLM 推理能力中的重要性，并激发了对揭示黑盒 LLM 中存在的魔法的进一步研究。根据我们分析中发现的结论，我们指出了几个大型基础模型未来发展的潜在方向：更复杂的符号推理基准：为了提高 LLM 的上下文符号推理能力，需要开发具有分离语义的新数据集和更复杂的推理任务。这些基准应该挑战具有多样性和复杂符号知识的 LLM。结合外部非参数知识库：我们的实验结果表明，LLM 的存储能力与现有的图数据库方法不可比。这促使我们考虑将 LLM 与外部非参数知识库（如图数据库）集成，以提高其知识添加和更新。这种混合方法可以利用 LLM 的语言理解和非参数来源中存储的全面知识。提高处理上下文知识的能力：更强大和有力的能力来处理和记住上下文知识对于执行上下文推理任务至关重要。进一步的研究需要改进 LLM 在处理和利用上下文知识方面的能力。这包括开发机制，以更好地编码和检索相关信息，以便更有效地推理。从事实中，我们知道 r3(Amelie, Thomas) 和 r3(Thomas, Jonathan)。因此，我们可以应用 L11，其中 A = Amelie，B = Thomas，C = Jonathan，D 和 E 为变量。这给我们带来了：r3(Thomas, Jonathan) ∧ r3(Amelie, Thomas) ∧ r3(Thomas, D) ∧ r3(D, E) ∧ r2(Amelie) → r14(Amelie, E)。由于我们知道 r2(Amelie) 是 F7 中的真实陈述，我们可以将上述声明简化为：r3(Thomas, Jonathan) ∧ r3(Amelie, Thomas) ∧ r3(Thomas, D) ∧ r3(D, E) → r14(Amelie, E)。现在，我们可以将 r3(Amelie, Thomas) 和 r3(Thomas, Jonathan) 代入得到：r3(Thomas, Jonathan) ∧ r3(Thomas, D) ∧ r3(D, E) → r14(Amelie, E)。我们可以看到，在选择 D = Alina 和 E = Jonathan 时，这个语句是正确的，因为我们有 r3(Thomas, Alina) 和 r3(Alina, Jonathan)。因此，r14(Amelie, Jonathan) 是正确的。答案是 True。因此，答案是 True。声明：r8(Leonie, Nico) 答案：我们可以使用 L5 来推断 r8(Leonie, Nico) 的真假。L5 说明，如果存在三个个体 A、B 和 C，使得 A 与 B 相关，B 与 C 相关，并且 A 具有某种属性（r2），则 A 与 C 以某种方式相关（r8）。使用这个规则，我们可以看到我们具有以下事实：-r3(Leonie, Emily) -r3(Emily, Nico) 因此，我们可以得出 r8(Leonie, Nico) 是真实的结论。声明：r7(Patrick, Alina) 答案：我们可以使用 L4：∀A, B：r3(A, B) ∧ r1(A) → r7(A, B) 来确定 r7(Patrick, Alina) 是真还是假。

参数效率调优（PET）近年来得到了广泛的研究，因为它在调优更少的参数（PET 模块）的同时，仍然可以从大型语言模型（LLMs）中激发足够的知识以用于下游任务。此外，当 PET 用于服务多个任务时，可以在冷冻的 LLM 上构建不同的任务特定 PET 模块，避免冗余的 LLM 部署。尽管 PET 显著降低了调优和部署 LLM 的成本，但其推理仍受到 LLM 计算瓶颈的影响。为了解决上述问题，我们提出了一种基于压缩 LLM 的有效 PET 框架，名为\”CPET\”。在 CPET 中，我们评估了主流 LLM 压缩技术对 PET 性能的影响，然后引入了知识继承和恢复策略来恢复这些压缩技术导致的知识损失。我们的实验结果表明，由于 CPET 的恢复策略，将任务特定 PET 模块与压缩 LLM 协作可以实现与协作 PET 模块与压缩 LLM 的原始版本相当的性能，并优于直接将朴素 PET 方法应用于压缩 LLM。

---

这篇论文介绍了一种新的框架 CPET，用于有效且参数高效的调整压缩大型语言模型。CPET 通过评估主流 LLM 压缩技术的影响，并引入知识继承和恢复策略来恢复这些压缩技术导致的知识损失。实验结果表明，由于 CPET 的恢复策略，将任务特定 PET 模块与压缩 LLM 合作可以实现与将 PET 模块与原始压缩 LLM 合作相媲美的性能，并且优于直接将经典 PET 方法应用于压缩 LLM。CPET 可以解决 PET 在推断时仍然存在的 LLM 计算瓶颈问题，同时显著降低 LLM 调整和部署的成本。

---

Introduction

• 近年来，数据规模和计算能力的增长推动了语言模型的参数规模的增长。虽然一些参数数量仅有数百万的小型和中型语言模型（Jawahar 等人，2019；Yenicelik 等人，2020）已经在捕捉丰富知识方面表现出色（Jawahar 等人，2019；Yenicelik 等人，2020），但大型语言模型（LLMs）拥有数十亿个参数（Brown 等人，2020；Black 等人，2022；Chowdhery 等人，2022）则表现出了更强大和更全面的能力，特别是在认知和体现方面（Lewkowski 等人，2022；Nakano 等人，2021；Driess 等人，2023）。尽管 LLM 取得了成功，但如何将 LLM 应用于实际场景中仍然是一个重要问题。由于大多数用户无法承担运行 LLM 的巨大成本，因此主要的解决方案是提供 LLM 服务，服务提供商（Ope-nAI，2022；谷歌，2023）将 LLM 适配为特定任务，然后提供用户界面以推断任务特定的 LLM。为了将 LLM 服务扩展到多任务场景中，参数效率调优（PET）已经广泛用于 LLM 的任务适配，其中将统一的 LLM 冻结为不同任务之间的骨干，然后在骨干上注入微小的可调整性 PET 模块，以刺激任务特定的知识。与传统的全参数微调（FT）相比，PET 在多任务服务中调用的参数数量要少得多，同时具有更低的内存开销，并实现与 FT 相当的性能（Ding 等人，2023；周等人，2022）。尽管 PET 在降低 LLM 的调优和部署成本方面显示出潜力，但计算共享骨干 LLM 的计算仍然必不可少，即推断骨干 LLM 和 PET 模块的组合是计算密集型和高延迟的。实验证明，采用模型压缩技术（Hinton 等人，2015；Bai 等人，2021；Liang 等人，2021）将 LLM 压缩成更小的版本是应对推断 LLM 不同延迟需求的解决方案，但压缩后的 LLM 是否能与压缩的 LLM 配合良好仍然是一个开放性问题，特别是考虑到模型压缩技术可能会引入知识丢失和性能退化到压缩的 LLM。在本文中，我们构建了一个有效的 PET 框架，名为“CPET”。为了恢复由压缩过程引起的知识丢失，CPET 引入以下两种机制：（1）PET 知识继承。更强大的 LLM 可以使学习 PET 模块更容易。同时，基于更强大

Related Work

• 本文重点介绍了与 LLMs、PET 和模型压缩相关的内容。在本文中，我们主要介绍了 PET 和模型压缩方法。有关 LLMs 的详细信息可以在相关综述中查阅（Qiu 等人，2020；Han 等人，2021；Bommasani 等人，2021；Zhao 等人，2023）。近年来，已经广泛研究了基于 Transformer 预训练语言模型（PLM），例如 GPT（Brown 等人，2020）和 BERT（Devlin 等人，2018）。随着预训练数据量和 PLM 参数规模的增长，大规模 PLM（Kaplan 等人，2020），即 LLM（Brown 等人，2020；Black 等人，2022；Chowdhery 等人，2022）也出现了，并且表现出了强大的能力（Wei 等人，2022），特别是在某些认知和体现场景中（Lewkowski 等人，2022；Nakano 等人，2021；Driess 等人，2023）。尽管 LLM 可以从大规模预训练数据中获取丰富的知识，以在零散或几散手方式处理复杂任务（Brown 等人，2020；Black 等人，2022），但为了更好地刺激 LLM 中存储的知识以服务于下游任务，仍需要将 LLM 适应各种特定任务场景。对于传统的 PLM，调整所有参数是适应它们的主要方法（Church 等人，2021），但这种方法由于参数效率低而变得昂贵，特别是在适应 LLM 时（Ding 等人，2023）。此外，在存储中维护特定任务的 LLM 版本是可接受的资源消耗（Zhou 等人，2022）。为了更有效地适应多任务场景，已经提出了各种 PET 方法（Lester 等人，2021；Houlsby 等人，2019；Hu 等人，2021；Li 和 Liang，2021；Ben Zaken 等人，2022），其中将冻结的 LLM 和一些可调整的模块注入到 LLM 的 Transformer 架构中，以帮助适应过程。PET 模块通常非常小，这可以显著降低调整 LLM 的成本。PET 模块可以注入到 Transformer 架构中的不同位置。例如，提示调整（Lester 等人，2021）和前缀调整（Li 和 Liang，2021）分别是将可调整的嵌入式向量添加到输入和隐藏状态中的两个方法。适配器调整（Houlsby 等人，2019）应用于相邻模块之间可调整的变换。BitFit（Ben Zaken 等人，2022）和 LoRA（Hu 等人，2021）对 Transformer 架构中的模块进行了轻微的内部修改。如前所述，LLM 已经获得了丰富的能力，只需要一种有效的方式来激发这些能力。可调整的 PET 模块的作用是学习任务特征，作为激发 LLM 特定能力的触发器（Ding 等人，2023）。足够的实验证明，将任务特定的 PET 模块与冻结的 LLM 结合可以达到与仅微调所有 LLM 参数相同的性能。此外，由于不同的任务特定的 PET 模块可以共享一个统一的冻结 LLM 作为它们的骨干，这也导致了在多任务服务和切换中的计算和存储开销较低（Zhou 等人，2022）。总的来说，PET 方法的出现显著降低了调整和部署 LLM 的成本。尽管 PET 方法可以降低部署 LLM 的存储成本，但 LLM 本身的计算瓶颈仍然存在。因此，为了进一步提高模型服务的效率，加快 LLM 的计算速度和模型压缩是关键。

Methodology

• 本文将介绍如何构建基于压缩 LLM 的有效 PET 框架 CPET。在介绍 CPET 之前，我们首先介绍一些必要的前置知识。为了简化，我们将一个完整的变压器架构表示为 Y = f(X; θ M)，其中 f(•) 表示整个变压器架构的功能，θ M 是变压器的参数，X 是输入，Y 是输出。在 FT 设置中，所有 M 的参数（即θ M）都被调优，其中 X t , Y t 是下游任务 t 的数据，L 是任务 t 的损失函数。θ t M 是变压器 M 的最终任务特定模型参数。在 PET 设置中，M 被冻结，并使用任务特定数据调优 PET 模块 P。R n e I U 3 5 9 F 5 c d 6 d j 0 V r w c l n j u E P n M 8 f u K e M 5 Q = = X < l a t e x i t s h a 1 _ b a s e 6 4 = \” 3 V P m 2 u q r r N w s X 6 R n e I U 3 5 9 F 5 c d 6 d j 0 V r w c l n j u E P n M 8 f r g u M 3 g = = Q < l a t e x i t s h a 1 _ b a s e 6 4 = \” L P m T p l 8 R n e I U 3 5 9 F 5 c d 6 d j 0 V r w c l n j u E P n M 8 f t Z + M 4 w = = V < l a t e x i t s h a 1 _ b a s e 6 4 = \” < l a t e x i t s h a 1 _ b a s e 6 4 = \” g 6 G q 8 6 0 G e 4 n / B s e T 6 j S M 3 B m F < l a t e x i t s h a 1 _ b a s e 6 4 = \” 0 v 2 A u p W P 5 T U N g P y 4 J m g G r f m w P
  
  我们称注入到变压器 M 中的 PET 模块的参数为θ P(M)。如图 1 所示，由于注入了 PET 模块，变压器架构的计算方式略有改变，变为 Y = f PET(X; θ M , θ P(M))。调优过程可以用以下公式表示：θ t P(M) 是最终任务特定 PET 模块，与变压器 M 协作。本文旨在通过压缩变压器 M 获得 PET 模块。为此，在压缩变压器 M 后，使其具有较少的参数或更低的位表示，我们将压缩的变压器 M 及其参数分别称为 C 和θ C。那么，压缩模型的计算可以表示为 Y = f(X; θ C)。由于 PET 方法不改变变压器 M，因此采用 PET 方法与压缩变压器 M 是正交的。因此，我们提出了更有效的 PET 框架 CPET，首先通过任务无关的模型压缩方法压缩变压器 M，然后将 PET 方法应用于压缩的变压器 M。压缩方法包括：1）使用任务无关的压缩方法压缩变压器 M，保持变压器 M 的位表示和插入位置不变；2）使用压缩的变压器 M 代替未压缩的变压器 M，可以显著减少变压器的推理时间和资源需求。值得注意的是，这种加速是不免费的。想象一下，采用任务无关的压缩方法可能会削弱变压器 M，这将不可避免地影响最佳参数θ t P(C) 的搜索和最终模型 f PET(X; θ C , θ t P(C)) 的效果。

Experiment

• 1. 实验使用了 11 个数据集，包括 BoolQ、CB、RTE、COPA、WiC、SST-2、MRPC、QQP、MNLI、QNLI 和 SQuAD，这些数据集涵盖了典型的 NLP 任务。
  2. 实验使用了 T5-3B 模型，该模型由张等人（2022a）提出。
  3. 实验使用了 8 位量化、结构化剪枝、无结构化剪枝和量化方法。
  4. 实验实现了四个范式：T5-3b + PET，T5-base + PET，CLM + PET 和 CLM + CPET。
  5. 在这些范式中，T5-3b + PET 和 T5-base + PET 使用了 PET 模块，而 CLM + PET 和 CLM + CPET 使用了压缩的 T5-3B（CLM）。
  6. 实验使用了 OpenDelta 工具包（Ding 等人，2023）来实现这些范式。
  7. 使用了 LoRA 方法（Hu 等人，2021）作为 PET 方法的基准。
  8. 设置了 LoRA 模块的瓶颈维度为 32。
  9. 设置了恢复模块的瓶颈维度为 32。
  10. 实验使用了三种学习率：{1e-3, 5e-4, 1e-4, 1e-5}。
  11. 实验使用了{8, 16, 32, 64, 128, 256}中的一个 batch size。
  12. 实验使用了 1e-2 的权重衰减。
  13. 实验将蒸馏系数设置为α = 0.05。
  14. 图 2 显示了 CPET 与 PET 之间的性能改进。
  15. 从图中可以看出，与原始 LLM 相比，压缩的 LLM 的性能不如原始 LLM。这说明任务无关的压缩方法导致了一些与下游任务相关的知识丢失。也就是说，为了提高推理速度，压缩模型的性能可能会下降，因为加速过程会影响性能。
  16. 在压缩模型中，CPET 在所有情况下都优于纯 PET 方法。

Conclusion

• 本文提出了一种基于压缩 LLM（CPET）的有效 PET 框架，以进一步降低部署 LLM 和 PET 模块时的资源要求和推理速度。由于任务无关压缩方法可能导致丢失一些任务特定知识，我们引入了 PET 知识继承和模型知识恢复以恢复丢失的知识。通过从非压缩 LLM 中继承 PET 模块的先前任务知识，可以更容易地找到压缩 LLM 的最佳 PET 模块。此外，通过引入知识恢复模块以恢复压缩阶段丢失的任务特定能力，与压缩 LLM 合作的 PET 模块可以实现与基于非压缩 LLM 的 PET 模块相当的性能。实验结果表明，CPET 可以超越基于压缩 LLM 的基线，同时，CPET 保持了 PET 方法在多任务服务方面的优势。本文主要加速了 PET 方法和 LLMs 的推理。我们将未来工作留给了解决 LLMs 计算瓶颈。

受大型语言模型（LLM）增强的自主代理已经取得了显著的改进，使它们能够推广到各种任务。然而，在现实世界的场景中，通常需要个人之间的合作以提高任务完成的效率和有效性。因此，受人类群体动力学的启发，我们提出了一个多智能体框架\\framework，可以作为一个整体大于部分之和的系统，共同和动态地调整其组成。我们的实验证明，\\framework 框架可以有效地部署多智能体群体，其性能优于单个智能体。此外，我们深入探讨了在协作任务完成过程中，群体内各个智能体之间社会行为的产生。鉴于这些行为，我们讨论了一些可能的策略，以便利用积极的行为并减轻消极的行为，从而提高多智能体群体的协作潜力。我们的\\framework 代码很快将在 https://github.com/OpenBMB/AgentVerse 上发布。

---

Key Points

• 以下是该段落的重点：
  
  1. 人工智能领域的一个重要目标是创建智能自主的代理，以协助人类并在现实世界环境中有效运行。
  
  2. 大型语言模型（LLMs）的进步为实现这一目标提供了新的机会。特别是，提出的 GPT-4 模型以其在语言理解、视觉、编码和数学等领域的卓越能力而引人注目。
  
  3. 利用 LLM 的能力，自主代理可以在完成任务时做出更有效的决策并采取高效的行动，实现前所未有的自主程度。
  
  4. 最近的研究赋予了自主代理更多的人类类似认知机制，包括反思、任务分解和工具利用/创作。
  
  5. 这些进步使我们更接近实现人工通用智能（AGI）的概念，使自主代理能够在更广泛的任务范围内进行泛化。
  
  6. 在实际场景中，复杂的任务可能需要个人之间的合作才能提高效率和有效性。
  
  7. 最近的研究集中在探索自主代理合作的潜力，并将代理组织视为社会或团体。
  
  8. AGENTVERSE 框架模拟了人类团体的问题解决过程，并允许根据当前的问题解决进度动态调整组员。
  
  9. AGENTVERSE 将团体问题解决过程分为四个关键阶段：专家招聘、协作决策、行动执行。
  
  10. AGENTVERSE 通过量化实验和案例研究来证明其可以比单个代理更有效地指导自主代理组共同完成任务。

Related Work

• 以下是该段落的重点：
  
  1. 人工智能领域的一个重要目标是创建智能自主的代理，以协助人类并在现实世界环境中有效运行。
  
  2. 最近，大型语言模型（LLMs）的进步为实现这一目标提供了新的机会。特别是，提出的 GPT-4 模型以其在语言理解、视觉、编码和数学等领域的卓越能力而引人注目。
  
  3. 利用 LLM 的能力，自主代理可以在完成任务时做出更有效的决策并采取高效的行动，实现前所未有的自主程度。
  
  4. 最近的研究赋予了自主代理更多的人类类似认知机制，包括反思、任务分解和工具利用/创作。
  
  5. 这些进步使我们更接近实现人工通用智能（AGI）的概念，使自主代理能够在更广泛的任务范围内进行泛化。
  
  6. 在实际场景中，复杂的任务可能需要个人之间的合作才能提高效率和有效性。
  
  7. 最近的研究集中在探索自主代理合作的潜力，并将代理组织视为社会或团体。
  
  8. AGENTVERSE 框架模拟了人类团体的问题解决过程，并允许根据当前的问题解决进度动态调整组员。
  
  9. AGENTVERSE 将团体问题解决过程分为四个关键阶段：专家招聘、协作决策、行动执行。
  
  10. AGENTVERSE 框架：受人类团队合作过程的启发，AGENTVERSE 为促进多个智能体在解决问题过程中的合作提供了一种有效的框架。它包括四个关键阶段：专家招聘、协作决策、行动执行和评估。

Method

• 作者是通过以下方法取得结果的：
  
  1. 提出人工智能领域的重要目标是创建智能自主的代理，以协助人类并在现实世界环境中有效运行。
  
  2. 利用大型语言模型（LLMs）的进步，特别是 GPT-4 模型的卓越能力，实现这一目标。
  
  3. 赋予自主代理更多人类类似认知机制，包括反思、任务分解和工具利用/创作。
  
  4. 探索自主代理合作的潜力，并将代理组织视为社会或团体。
  
  5. 提出 AGENTVERSE 框架，模拟人类团队合作过程，为促进多个智能体在解决问题过程中的合作提供了一种有效的框架。
  
  6. 通过量化实验证明，在需要不同能力的任务中，AGENTVERSE 使得多智能体组合的性能超过单个智能体。
  
  7. 在软件开发、咨询和 Minecraft 游戏等不同场景中部署 AGENTVERSE，以讨论 AGENTVERSE 的实际优势。
  
  8. 提出多智能体合作中的涌现行为，并讨论如何利用积极行为增强团队合作，同时防止负面行为的出现。
  
  9. 模拟人类群体问题解决过程，提出了 AGENTVERSE 框架。
  
  10. 使用马尔可夫决策过程（MDP）建模整个过程。
  
  11. 提出 AGENTVERSE 采用了自动化的方法来招募专家，以提高配置代理的可扩展性。
  
  12. 指定一个特定的自主代理作为\\\”招聘人员\\\”，根据当前的目标动态生成一套专家描述。
  
  13. 采用水平沟通和垂直沟通两种典型的沟通结构，进行协作决策。
  
  14. 使用两个不同的语言模型 GPT-3.5-Turbo-0613 和 GPT-4-0613 为 AGENTVERSE 提供动力。
  
  15. 使用多种数据集进行评估任务，包括会话、数学计算、逻辑推理和编程能力。

Result

• 以下是这篇论文中的实验取得的结果：
  
  1. 实验证明，在需要不同能力的任务（如数学推理、代码完成和回答生成）中，AGENTVERSE 使得多智能体组合的性能超过单个智能体。
  
  2. 在软件开发、咨询和 Minecraft 游戏等不同场景中部署 AGENTVERSE，以讨论 AGENTVERSE 的实际优势。
  
  3. 在多智能体合作过程中，智能体展现出一些新兴行为，如志愿者行为（提高团队效率）、遵从行为（调整自身行为以符合共同目标）和破坏性行为（偶尔导致不良和有害的结果）。进一步讨论如何利用积极行为增强团队合作，同时防止负面行为的出现。
  
  4. AGENTVERSE 是一种用于自主代理组的强化学习框架，旨在使这些代理组能够共同完成任务。实验证明，AGENTVERSE 可以比单个代理更有效地指导自主代理组共同完成任务。
  
  5. 对于会话任务，使用了两个数据集：一个是对话回应数据集 FED，另一个是 CommonGen-Challenge 数据集。
  
  6. 对于数学计算任务，使用了 MGSM 数据集的英语子集。
  
  7. 对于逻辑推理任务，使用了 BigBench 数据集中的逻辑网格谜题任务。
  
  8. 对于编程任务，使用了 Humaneval 数据集。

Conclusion

• 
  
  这篇论文探讨了自主代理在人工智能领域中的应用和潜力。以下是该论文的主要结论：
  
  1. 人工智能的目标之一是创建智能自主的代理，以协助人类更好地应对现实世界环境中的挑战。
  
  2. 大型语言模型（LLMs）的进步为实现这一目标提供了新的机会，特别是 GPT-4 模型在语言理解、视觉、编码和数学等领域的卓越能力。
  
  3. 利用 LLM 的能力，自主代理可以在完成任务时做出更有效的决策并采取高效的行动，实现前所未有的自主程度。
  
  4. 最近的研究赋予了自主代理更多的人类类似认知机制，包括反思、任务分解和工具利用/创作。
  
  5. 这些进步使我们更接近实现人工通用智能（AGI）的概念，使自主代理能够在更广泛的任务范围内进行泛化。
  
  6. 在实际场景中，复杂的任务可能需要个人之间的合作才能提高效率和有效性。
  
  7. 最近的研究集中在探索自主代理合作的潜力，并将代理组织视为社会或团体。
  
  8. AGENTVERSE 框架模拟了人类团队合作过程，为促进多个智能体在解决问题过程中的合作提供了一种有效的框架。它包括四个关键阶段：专家招聘、协作决策、行动执行和评估。
  
  9. 通过量化实验证明，在需要不同能力的任务（如数学推理、代码完成和回答生成）中，AGENTVERSE 使得多智能体组合的性能超过单个智能体。
  
  10. 在软件开发、咨询和 Minecraft 游戏等不同场景中部署 AGENTVERSE，以讨论 AGENTVERSE 的实际优势。
  
  11. 多智能体合作中的涌现行为包括志愿者行为（提高团队效率）、遵从行为（调整自身行为以符合共同目标）和破坏性行为（偶尔导致不良和有害的结果）。
  
  12. AGENTVERSE 采用了自动化的方法来招募专家，以提高配置代理的可扩展性。
  
  13. 对于给定的目标，会指定一个特定的自主代理作为\\\”招聘人员\\\”，类似于人力资源经理。
  
  14. \\\”招聘人员\\\”会根据当前的目标动态生成一套专家描述，然后根据这些不同的专家描述组成专家组。
  
  15. 考虑到多代理组的构成会根据评估阶段的反馈进行动态调整，这使得框架能够根据当前的状态（收到的奖励）来选择在后续轮次中做出更好决策的最有效的多代理组。
  
  16. 在决策阶段，代理们进行协作决策。许多研究已经探索了不同代理间沟通结构的有效性，包括水平沟通和垂直沟通。
  
  17. AGENTVERSE 通过量化实验和案例研究来证明其可以比单个代理更有效地指导自主代理组共同完成任务。
  
  18. AGENTVERSE 的自主代理由两个不同的语言模型提供动力：GPT-3.5-Turbo-0613 和 GPT-4-0613。
  
  19. AGENTVERSE 的评估任务包括需要会话、数学计算、逻辑推理和编程能力的任务。
  
  20. 对于会话任务，使用了两个数据集：一个是对话回应数据集 FED，另一个是 CommonGen-Challenge 数据集。
  
  21. 对于数学计算任务，使用了 MGSM 数据集的英语子集。
  
  22. 对于逻辑推理任务，使用了 BigBench 数据集中的逻辑网格谜题任务。
  
  23. 对于编程任务，使用了 Humaneval 数据集。

大规模语言模型（LLMs）已在外部API的使用上取得了显著的进步，这些API可以作为各种任务的工具。然而，它们利用工具的能力受到适合API的可用性和隐含推理的不稳定性的限制，尤其是在同时进行计划推理和实际计算时。为了克服这些局限性，我们提出了CREATOR，一个新颖的框架，使LLMs能够通过文档和代码实现来创建自己的工具。CREATOR将LLM的能力分解为两个不同的阶段：抽象工具创建和具体决策执行，从而提高了LLM的性能。我们在两个已建立的基准上评估CREATOR：MATH，包括具有挑战性的数学竞赛问题，以及TabMWP，包括用于解决问题的各种表格内容。值得注意的是，CREATOR在这两个基准上的表现大大优于现有的链式思维（CoT）、程序式思维（PoT）和工具使用基线。此外，我们提出了一个新的数据集Creation Challenge，包括2K个不同的问题，以突出LLMs工具创建能力在有效解决这些问题方面的必要性和好处。进一步的研究发现，将LLMs作为工具创造者可以促进知识的转移，LLMs在工具创建能力方面表现出不同的水平，使它们能够灵活地应对各种情况。我们的研究为充分利用LLMs的潜力，朝着真正智能和适应性的AI系统迈进开辟了新的途径。

---

Introduction

• 近年来，大型语言模型（LLMs）的发展取得了显著的进步，其中包括 GPT-3（Brown 等，2020）、Codex（Chen 等，2021）、PaLM（Chowdhery 等，2022）、LLaMA（Touvron 等，2023）、Chat-GPT（OpenAI，2022）和最近的 GPT-4（OpenAI，2023）。这些模型在上下文学习、代码生成和各种 NLP 任务方面表现出色，将 LLM 的潜力推向了人工通用智能（Bubeck 等，2023）。尽管取得了这些巨大的成功，但现有的 LLM 仍然存在一些限制，包括无法识别或应对最新信息、经常无法提供清晰准确的数学结果，以及在不稳定地推理长链逻辑的情况下表现不稳定（Trivedi 等，2022;Komeili 等，2022;Patel 等，2021;Hendrycks 等，2021;Lu 等，2022b）。为解决这些问题，一些研究 line of research 已经为 LLM 配备了外部工具，以减轻它们的记忆负担并提高它们的专业知识（Qin 等，2023）。例如，将问答系统或网络搜索引擎等工具集成到 LLM 中，使它们能够在解决问题时学会何时何地访问外部资源（Nakano 等，2021;Schick 等，2023）。最近的研究还结合了额外的外部工具，例如 GitHub 资源、神经网络模型（如 Huggingface 库）、代码解释器（如 Python 解释器）等（Gupta 和 Kembhavi，2022;Surís 等，2023;Shen 等，2023;Liang 等，2023;Lu 等，2023）。这些工具需要 LLM 在利用工具解决复杂问题之前给出详细的计划。然而，工具增强的 LLM 仍然面临某些挑战（Chen 等，2022;Gupta 和 Kembhavi，2022;Schick 等，2023;Surís 等，2023），我们特别关注以下方面：（1）大多数现有工作倾向于关注有限数量的工具，而潜在的新任务范围几乎无限。因此，当面对新类型的问题时，很难找到一个适合其解决方案的现有工具。（2）语言模型用于确定最佳利用工具的当前推理过程固有地复杂。它涵盖了整个任务处理过程中的广泛规划，从而给模型造成了巨大的认知负担，并需要付出相当的学习成本。（3）关于工具使用的当前管道缺乏一个特定和自动的错误处理机制。这使得框架的准确性和鲁棒性有待改进。在本文中，我们试图从新颖的角度解决这个问题：而不是让 LLM 成为工具的使用者，我们使它们成为工具的创建者，以更准确、更灵活地解决特定问题。
  
  Motivated by this, we present our tool creation framework, CREATOR, which exploits LLMs’ ability to create tools and do rectifications based on current settings before answering the specific problem. As illustrated in Figure 1, we present the differences in pipelines between CREATOR and a general tool-using framework.

Related Work

• 1. Large Language Models (LLMs) have gained significant attention due to their performance in handling various NLP tasks.
  2. LLMs can generate high-quality texts and codes.
  3. Researchers focus on how to effectively prompt LLMs to generate reasoning to solve problems.
  4. Some researchers use case examples to propose chain-of-thought prompting.
  5. Other researchers extend prompting to zero-shot settings.
  6. Some researchers focus on using instructions to guide LLMs’ output and align behaviors with human expectations.
  7. These methods can be used to design instruction-following data from existing datasets.
  8. Researchers use instruction-tuning method to boost LLMs’ performances.
  9. Language models can be used in conjunction with external tools to help boost their ability.
  10. These tools can include scratch pad, search engine, QA system, and calculator.
  11. More recent studies integrate LLMs’ tool-using abilities into a pipeline to showcase their potential in task planning, tool calling, and result synthesis.
  12. Reasoning with programs (or codes) is an emerging field in NLP for leveraging programs to do complicated computational reasoning.
  13. The execution results from generated code can be used for LLM’s further use.
  14. Code generation in reasoning can achieve state-of-the-art performance on various math datasets.
  15. Researchers incorporate code interpreters (e.g. Python interpreter) as external tools.
  16. In CREATOR, we use code as the medium for tool creation instead of an external tool for calling.
  17. Our framework excels over PoT as we devise the tool creation stage, code rectification stage, and disentangle the logic in complex reasonings.

Design of CREATOR

• 重点：
  
  * CREATOR 框架利用 LLM 的工具创建能力通过引入特殊模块。
  * 该框架包括四个阶段：创建、决策、执行和纠正。
  * 在创建阶段，我们提供明确的指令和演示实例，以指导 LLM 生成与解决问题相关的适当工具。
  * 创建工具涉及两个关键方面：文档和实现。
  * 文档提供关于工具的效用、输入和输出的信息，而实现涉及实现工具的编码。
  * 在第二个阶段，即决策阶段，解释器根据文档和代码实现生成决策，并在需要时进行纠正。
  * 可以通过抽象思维能力创建工具，以减轻后来阶段的推理负担。
  * 这种方法可以显著减少后期阶段的推理负担，导致更可重用、可测试的工具，并可能提高性能。

Experiments

• 为了评估 CREATOR 的有效性，我们在两个 established 基准上进行了实验：MATH（Hendrycks 等人）和 TabMWP（Lu 等人，2022a）。虽然 CREATOR 适用于各种需要工具创建的任务，但我们特别考虑这两个数据集作为代表，以展示我们框架的优势。此外，我们还对 newly introduced 数据集，即 Creation Challenge 进行了实验，该数据集包含 2K 个 diverse 问题，无法使用现有工具或代码包来解决。这进一步证明了 LLM 的工具创建能力。
  
  Base Model. 我们选择 ChatGPT（gpt-3.5-turbo）作为 CREATOR 的基础模型，因为其在代码生成、决策制定和逻辑推理方面具有卓越的能力。为了确保公平性，我们还将在所有其他设置中使用 ChatGPT 作为基础模型，包括链式思维（CoT）、程序思维（PoT）和工具使用基线。所有实验的最大生成长度都设置为 512，选择温度为 0.3，鼓励确定性生成同时保持一定程度的多样性，特别是在创建工具的过程中。
  
  Dataset. 对于 MATH 和 TabMWP 数据集，我们都在测试集上对所有问题进行了数值答案（例如整数或分数）。这是因为其他答案形式（如表达式和分数）难以通过自动测试，程序的输出容易给出分数值，这进一步增加了自动评估的复杂性。然而，我们应用的测试集能够涵盖大约 80% 的问题，并且保持高多样性，因此我们认为我们的结果是代表性的。
  
  TabMWP 数据集涵盖了从一年级到八年级的 wide range of table information and problems of varying difficulty levels，涵盖数学竞赛问题，包括代数、计数和概率、几何、intermediate algebra、number theory、prealgebra 和 pre-calculus。每个领域都单独测试，计算加权平均分作为最终指标。对于 Creation Challenge 数据集，我们评估了 CREATOR 在所有 2K 个数据实例上的性能，并探讨了工具创建提示对 LLM 性能的影响。
  
  Baselines. 我们将 CREATOR 与三种基线进行比较，以证明其有效性：标准 LLM（w/o CoT 和 w/ CoT）：在 CoT 设置中，LLM 采用顺序推理以逐步解决这些问题。我们还包括没有 CoT 的标准 LLM 基线，其中 LLM 直接生成答案而无需运用推理过程。PoT：该 LLM 利用程序通过问题逐步推理。PoT 可以与 CoT 结合以提供答案。为了确保重点关注工具创建阶段，我们还将校正模块纳入 PoT，使其成为更强的基线。
  
  Tool Use: LLM 利用 WolframAlpha API 作为问题解决工具。WolframAlpha API 是一种专用数学计算工具。由于所有测试数据都需要某种程度的数值计算，使 LLM 能够利用 WolframAlpha 作为外部工具使用，对 LLM 的外部工具使用作为公平基线。

Further Discussions

• * 重点：
  
  * 本文介绍了语言模型（LLM）的工具创建能力，并通过使用案例研究展示了其灵活性和较低的推理负担。
  * 工具创建的主要目的是可重用性，通过将知识概念的抽象表示，实现一个工具可以帮助解决具有相同核心概念的各种场景中的问题。
  * 例如，一个用于情感分析的关键词提取工具可以用于文档分类和主题建模等场景。
  * 我们构建了一个由 300 个问题组成的较小数据集，以测试知识转移能力，并将这 300 个问题分为 100 组，每组三个问题共享相同的核心知识概念。
  * 我们手动编写种子数据，包括五个数据点的格式，以及从这些种子中创建的示例数据。
  * 我们使用 ChatGPT 作为基础 LLM，并保持所有详细设置与之前相同。
  * 我们首先在正常创造者框架下测试所有问题，然后测试在某个问题场景中创建的正确工具是否可以应用于其他两个场景，并再次测试 LLM 的性能。
  * 我们只计算 \”Pass@1\” 精度。
  * 结果分析显示，通过应用转移工具，准确率从 63.0% 提高到 78.3%。
  * 统计结果见表 5。
  * 我们将工具创建分为三个不同级别，以提供未来发展的指导和建议。
  * 这些级别展示了 LLM 如何利用现有工具和 API 创建满足不同需求的工具。

Conclusions and Future Work

• 总之，我们提出了工具创建（tool creation）这一概念，并实验性地设计了一个工具创建框架 CREATOR，以成功利用大型语言模型的工具创建能力解决各种问题解决场景。通过区分 LLMs 的抽象和具体推理能力，CREATOR 使得逻辑更清晰，整体性能得到提高。在已确立的基准测试以及新开发的创建挑战测试集的全面评估下，我们证明了 CREATOR 相对于现有方法（如 CoT、PoT 和工具使用方法）的优越性和不可替代性。本研究是对工具创建领域的一次初步探索，为这一领域的潜力提供了初步了解。为了进一步发展这一领域，未来的研究可以深入探讨 LLMs 的工具创建能力，通过进行涵盖更广泛任务和复杂场景的实验来检验这一能力。虽然我们的研究重点在于揭示 LLMs 工具创建背后的推理分离，但还有其他必要方面需要进一步调查。此外，需要研究方法来提高工具创建过程的效率，同时使其更符合用户的意图。通过开展这些未来的研究方向，我们预计本研究将奠定坚实的基础，激发更复杂 AI 系统利用 LLMs 工具创建能力的发展。此外，本研究表明了 LLM 功能的重要进步，有助于推动其在工具创建能力方面的潜力。

长文本问答 (LFQA) 旨在回答复杂的、开放式的问题，并提供详细的、段落长度的回答。LFQA 的实际上的模式需要两个步骤：信息检索，寻找相关的支持事实，信息和合成，将这些信息整合成一个连贯的答案。 在本文中，我们介绍了 WebCPM，这是中国的第一个 LFQA 数据集。WebCPM 的一个独特特点是其信息检索基于交互式网页搜索，它在实时与搜索引擎交互。类似于 WebGPT，我们开发了网页搜索界面。我们招募了标注者，使用我们的界面搜索相关信息，然后回答问题。同时，我们记录了标注者的网络搜索行为。 我们总共收集了 5500 个高质量的问题 – 答案对，以及 14315 个支持事实和 121330 个网页搜索行为。我们微调了预训练的语言模型，以模仿人类的网络搜索行为，并基于收集的事实生成答案。我们基于这些微调的模型建立了 LFQA 流程，它在这些数据集和 DuReader 上产生了在 32.5% 和 47.5% 的案例中不比人类写的更好的答案。

---

• 作者通过以下方法取得了结果:
  
  1. 提出长文本问答 (LFQA) 问题，并定义了解决方案所需的两个核心要素：信息检索和信息合成。
  
  2. 使用检索 – 合成范式来解决 LFQA 问题。该范式包含两个核心要素：信息检索和信息合成。信息检索搜索外部知识源 (如互联网) 获取多种相关支持事实，信息合成将收集的事实整合成一个完整的答案。
  
  3. 针对传统 LFQA 范式的缺陷，作者提出了交互式网页搜索的方法，以支持人类进行更复杂的问题分解和解决。人类可以进行交互式网页搜索，通过与搜索引擎实时交互，将复杂的问题分解为多个子问题，并逐步解决。通过识别和浏览相关信息，人类可以加深对话题的理解，并通过提出后续问题或相关术语来微调搜索。这种迭代过程可以扩展搜索范围，并提高搜索结果的质量。
  
  4. 作者还提出了一个公共数据集和框架，以支持 LFQA 交互式网页搜索。该框架包括一个搜索模型和一个合成模型，它们可以模仿人类网页搜索行为进行信息检索和信息合成。作者通过选择最好的搜索和合成模型，将它们组合成一个整体 LFQA 管道，并与人类进行比较。人类评估表明，作者提出的管道在测试集中生成的答案有 32.5% 的时间不比人类差，对于超过 400 个中文字符的 DuReader 问题，作者提出的管道在 47.5% 的情况下生成的答案比 golden 标注的答案更好。
  
  5. 作者还展示了如何使用他们的框架来创建新的中文问题，并使用公共问答论坛作为问题来源。

---

• 以下是作者在这篇论文中所得出的结论:
  
  1. 交互式网页搜索可以提高 LFQA 解决方案的性能，因为人类可以进行网页搜索并逐步解决问题，而无需从头开始构建问题。
  
  2. 使用 GPT-3 等预训练语言模型进行网页搜索和信息合成的效果比传统的检索 – 合成范式更好，因为它们可以模拟人类搜索行为。
  
  3. 提供可访问的平台和公共基准对于探索 LFQA 交互式网页搜索领域至关重要。
  
  4. 需要进一步研究如何平衡交互式网页搜索和信息合成的性能，以提高 LFQA 解决方案的效率和准确性。
  
  5. 提供可访问的数据集和平台可以促进社区对 LFQA 领域的研究，并为其他研究领域提供测试平台。

在人机合作中，构建具有自适应行为的 AI 成为 AGI 研究的关键焦点。目前，发展合作代理的方法主要依赖于学习方法，其中策略泛化严重依赖于与特定队友的过去互动。这些方法限制了代理在面对新队友时重新调整策略的能力。我们提出了一种名为 ProAgent 的新框架，它利用大型语言模型（LLMs）来创建一种具有预测队友即将作出的决策并制定增强计划能力的积极代理。ProAgent 在合作推理方面表现出色，能够动态适应其行为以提高与队友的协作效果。此外，ProAgent 框架具有高度的模块化和可解释性，便于无缝集成以解决各种协调场景。在 Overcook-AI 框架内进行的实验评估揭示了 ProAgent 在合作中显著超越了五种基于自我游戏和基于种群训练的方法。此外，在与人类代理模型合作时，其性能平均改进超过了 10%，比现有最先进的 COLE 方法更好。这种进步在涉及与具有不同特性的 AI 代理和人类对手互动的多样化场景中是一致的。这些发现激发了未来人机协作的研究。有关动手演示，请访问:

https://pku-proagent.github.io

---

框架的特点包括：

1. 利用大型语言模型（LLMs）：ProAgent 使用 LLMs 来预测队友的未来决策，并据此制定增强的计划。

2. 积极的代理：ProAgent 是一个积极的代理，可以主动适应队友的行为，以提高合作效果。

3. 高度的模块化和可解释性：ProAgent 框架具有高度的模块化和可解释性，可以方便地集成到各种协调场景中。

4. 卓越的性能：实验结果显示，ProAgent 在《Overcook-AI》框架中的表现优于基于自我游戏和基于人口训练的五种方法。在与人类代理模型合作时，其性能平均提高了 10% 以上，超过了当前的最佳方法 COLE。

5. 广泛的适用性：ProAgent 的改进在不同的场景中都得到了一致的观察，这些场景涉及与具有不同特征的 AI 代理和人类对手的互动。

6. 可演示性：作者提供了一个在线演示，用户可以在 https://pku-proagent.github.io 上亲自体验 ProAgent 的性能。

---

1. SayCan：这个方法主要是通过语言模型（LLM）来理解和解析当前任务的知识库，并将原始状态信息转换成语言为基础的状态描述，以便于 LLM 能够有效地理解和处理。在这个过程中，知识库和状态对齐是非常关键的。

2. ReAct：这个方法主要是在不对称优势布局中，通过展示有意不对称的布局，如洋葱、锅和供应点的位置，来让两个玩家在各自的厨房中进行游戏。这种布局能够有效地展示出对称和非对称的优势，从而提高游戏的挑战性和趣味性。

3. DEPS：这个方法主要是通过记忆模块来存储整个流程中涉及到提示、推理过程和验证过程中的所有相关信息。这种积累的知识能够帮助玩家做出更明智的决策，并随着时间的推移调整行为。

4. RAP：这个方法主要是在强制协调布局中，玩家需要通过协作来成功完成汤的配送。但是，这些 ZSC 方法显示出了特定的惯例，如在两个 FCP 代理之间的交互中，他们总是在第一个工作台交换洋葱，在第三个工作台交换菜肴。这种惯例虽然对于自身协作以达到高分非常有效，但是对于与新代理的有效协调却带来了挑战。

5. Reflexion：这个方法主要是通过信念校正和技能验证来进一步验证和校正队友代理的技能信念，同时，所选技能也会被验证器验证，并在找到合法技能之前反复规划。

---

大家好，今天，我们将讨论OpenAI的迷失和微软的收获。

OpenAI是一家非营利性人工智能研究公司，由埃隆·马斯克、山姆·阿尔特曼等人在2015年创立。OpenAI的使命是确保安全的人工通用智能的开发，并使全人类受益。

然而，OpenAI的非营利性结构却导致了其内部的权力斗争。OpenAI的董事会认为，首席执行官山姆·阿尔特曼没有始终如一地与董事会坦诚沟通，因此在2023年11月将其解雇。

微软是OpenAI的主要合作伙伴之一，它获得了OpenAI的所有知识产权的永久许可，包括源代码和模型权重。微软还向OpenAI提供了大量的资金和计算资源。

OpenAI和微软的合作关系本应是互惠互利的，但由于OpenAI的内部问题，这种合作关系受到了影响。微软需要确保OpenAI能够继续开发其人工智能技术，而OpenAI则需要微软的资金和计算资源来支持其研究。

在OpenAI的董事会解雇了阿尔特曼之后，微软迅速采取行动，与阿尔特曼和OpenAI的其他高管达成了协议，将他们招致麾下。

微软的这一举动引起了业界的广泛关注。有人认为，微软这是捡了个大便宜，因为它获得了OpenAI的所有知识产权，而无需支付任何费用。也有人认为，微软的这一举动将进一步加剧人工智能领域的垄断。

无论如何，微软的这一举动都将对人工智能领域的格局产生深远的影响。

要点

• OpenAI是一家非营利性人工智能研究公司，由埃隆·马斯克、山姆·阿尔特曼等人在2015年创立。
• OpenAI的使命是确保安全的人工通用智能的开发，并使全人类受益。
• OpenAI的非营利性结构导致了其内部的权力斗争。
• OpenAI的董事会认为，首席执行官山姆·阿尔特曼没有始终如一地与董事会坦诚沟通，因此在2023年11月将其解雇。
• 微软是OpenAI的主要合作伙伴之一，它获得了OpenAI的所有知识产权的永久许可，包括源代码和模型权重。
• 微软还向OpenAI提供了大量的资金和计算资源。
• OpenAI和微软的合作关系本应是互惠互利的，但由于OpenAI的内部问题，这种合作关系受到了影响。
• 微软需要确保OpenAI能够继续开发其人工智能技术，而OpenAI则需要微软的资金和计算资源来支持其研究。
• 在OpenAI的董事会解雇了阿尔特曼之后，微软迅速采取行动，与阿尔特曼和OpenAI的其他高管达成了协议，将他们招致麾下。
• 微软的这一举动引起了业界的广泛关注。有人认为，微软这是捡了个大便宜，因为它获得了OpenAI的所有知识产权，而无需支付任何费用。也有人认为，微软的这一举动将进一步加剧人工智能领域的垄断。
• 无论如何，微软的这一举动都将对人工智能领域的格局产生深远的影响。

大家好，我相信你们在使用人工智能应用的过程中，一定对其中的语言处理功能印象深刻。它们可以帮助我们理解复杂的文本，生成文章甚至进行对话。但你可能不知道，这背后有一种重要的模型叫做“大型语言模型”。近日，一项名为“HyperAttention”的研究引起了我的注意，其主旨在于改善这些大型语言模型处理长篇文章时的效率。这个方法超越了既有技术限制，实现了近线性时间的长文本处理。听起来是不是很神奇？接下来，让我们一起深入了解一下。

首先，我们需要明白一点，就是处理长上下文的计算挑战。大型语言模型（LLMs）在处理长文本时，必须应对着一个诸多复杂因素的大矩阵，这个矩阵的计算和存储需求都是巨大的。就像你试图一口气读完一本厚厚的百科全书，不仅费时费力，还需要巨大的记忆力。这就是大型语言模型面临的挑战。

为了迎接这个挑战，研究人员提出了一种新颖的近似注意力机制，被命名为“HyperAttention”。这个方法的核心是引入了两个参数，用来衡量矩阵的复杂度。并且，HyperAttention的设计非常模块化，易于与其他快速低水平实现进行整合，特别是FlashAttention。根据实验结果，HyperAttention在处理长篇章数据集时，表现出了显著的速度优势。

研究者们用一个例子来证明这种优势：在一个名为ChatGLM的模型中，使用HyperAttention后，处理长达32k的文本所需的时间减少了50%，而生成的文本复杂度只是从5.6提高到6.3。当处理更长的文本，例如长度为131k的文本时，HyperAttention甚至能在单个注意力层上提供5倍的速度提升。

HyperAttention的出现，不仅解决了大型语言模型处理长文本时的速度问题，还开启了新的研究方向。对于那些需要处理大量文本数据的应用，比如自动翻译、文章生成等，HyperAttention无疑将带来巨大的改变。

大家好，欢迎收听本期节目。今天，我们将一起走进 HyperAttention 的奇妙世界，了解这种全新近似注意力机制如何让大型语言模型在长上下文下也能飞速推理。

什么是 HyperAttention？

HyperAttention 是一种近似注意力机制，它可以显著提升大型语言模型在长上下文下的推理速度。传统的注意力机制在计算时需要遍历整个输入序列，这使得计算成本非常高。而 HyperAttention 则通过对注意力矩阵进行近似，从而大幅降低计算成本。

HyperAttention 的工作原理

HyperAttention 的工作原理并不复杂。它首先会对注意力矩阵进行分解，然后对每个子矩阵进行近似。最后，将所有子矩阵的近似结果组合起来，得到最终的注意力矩阵。

HyperAttention 的优势

HyperAttention 的优势非常明显。它可以显著提升大型语言模型在长上下文下的推理速度，同时还能保持较高的准确率。在某些情况下，HyperAttention 甚至可以将推理速度提升 50% 以上。

HyperAttention 的应用

HyperAttention 可以广泛应用于各种自然语言处理任务，如机器翻译、问答系统、文本摘要等。它可以帮助这些任务在处理长上下文数据时获得更高的效率和准确率。

HyperAttention 的未来

HyperAttention 是一种非常有潜力的近似注意力机制，它有望在未来得到更广泛的应用。随着研究的不断深入，HyperAttention 的性能还将进一步提升，从而为大型语言模型的应用开辟新的可能性。

AAAMLP 中译版 (ytzfhqs.github.io)

大家好，欢迎收听本期播客。今天，我们将介绍一本关于机器学习的书籍：《机器学习实战中文版》。

《机器学习实战》介绍

《机器学习实战》是由Abhishek Thakur所著的一本关于机器学习的书籍。Abhishek Thakur是挪威boost公司首席数据科学家，在Kaggle上取得过辉煌的成绩。

这本书的英文原版于2017年出版，一经推出便受到了广大读者的喜爱。中文版由电子工业出版社出版，于2023年9月正式上市。

《机器学习实战》的内容

《机器学习实战》共12章，内容涵盖了机器学习的基础知识、算法、实战技巧等。

前4章介绍了机器学习的基础知识，包括准备环境、有监督和无监督学习、交叉检验和评估指标。

第5章到第10章介绍了机器学习的各种算法，包括处理分类变量、特征工程、特征选择、超参数优化、图像分类和分割方法、文本分类或回归方法。

最后2章介绍了机器学习的实战技巧，包括组合和堆叠方法、可重复代码和模型方法。

《机器学习实战》的特点

《机器学习实战》的特点是内容全面、深入浅出、实战性强。

• 内容全面：本书涵盖了机器学习的基础知识、算法、实战技巧等各个方面，是一本全面的机器学习教程。
• 深入浅出：本书的语言通俗易懂，即使是没有任何机器学习基础的读者也能轻松入门。
• 实战性强：本书提供了大量的代码示例，读者可以边学边练，快速掌握机器学习的实战技巧。

《机器学习实战》的意义

《机器学习实战》是一本非常适合机器学习初学者阅读的书籍。它内容全面、深入浅出、实战性强，能够帮助读者快速入门机器学习。

如果你想学习机器学习，那么《机器学习实战》绝对是你不容错过的书籍。

结语

好了，以上就是本期播客的内容。感谢您的收听。我们下期再见。

ytzfhqs/AAAMLP-CN: Approaching (Almost) Any Machine Learning Problem中译版，在线文档地址：https://ytzfhqs.github.io/AAAMLP-CN/

大家好，今天，我们要向大家介绍的是一款非常实用的AI工具——“PrivateGPT”。它可以帮助您以100%的私密性，利用大型语言模型（LLMs）的力量来处理您的文档。

PrivateGPT的诞生

“PrivateGPT”的诞生源于一个明确的需求：在当今社会，生成式AI技术正在飞速发展，但由于隐私问题，许多公司和行业，比如医疗或法律领域，无法充分利用这项技术。

PrivateGPT的优势

“PrivateGPT”的优势在于，它完全离线运行，这意味着您的数据始终处于您的控制之下，不会泄露给任何第三方。

PrivateGPT的功能

“PrivateGPT”提供了一个API，包含了构建私有、语境感知AI应用程序所需的所有基本功能。它遵循并扩展了OpenAI的API标准，支持普通和流式响应。

PrivateGPT的未来

“PrivateGPT”正在不断发展，目标是成为生成式AI模型和原语的网关，包括补全、文档嵌入、RAG管道和其他低级构建块。

如何使用PrivateGPT

有关“PrivateGPT”的更多信息，包括安装、依赖项、配置、运行服务器、部署选项、嵌入本地文档、API详细信息和UI功能，请访问我们的官方文档网站。

结语

“PrivateGPT”是一款功能强大且易于使用的工具，可以帮助您以100%的私密性来处理您的文档。如果您正在寻找一种安全可靠的方式来利用生成式AI技术，那么“PrivateGPT”绝对是您的最佳选择。

欢迎来到这个关于人工智能进步的奇妙旅程！今天，让我们一起探索从 RAG (Retrieval Augmented Generation) 到 Self-RAG 的知识增强过程。这其中蕴含的深刻原理和广阔应用，将带你领略新一波 AI 风暴的来临。

RAG：知识增强的先驱

RAG，或称检索增强生成，是一种先进的机器学习技术。在回答问题或生成文本时，它会先从大量文档中检索出相关的信息，然后基于这些信息生成回答或文本，从而提高预测质量。这意味着开发者无需为每一个特定任务重新训练整个大模型，只需要接入知识库即可。

RAG 对于知识密集型的任务尤为有用。那么，你可能会问，如果我们已经有了强大的语言模型（LLM），为什么还需要 RAG 呢？其实，RAG 主要解决了 LLM 所面临的三个问题：

1. 幻觉问题：LLM 在生成文本时，有可能会产生“一本正经的胡说八道”的现象。
2. 时效性问题：大模型训练的周期较长，因此无法处理具有时效性的数据，例如“帮我推荐几部正在热映的电影？”。
3. 数据安全问题：通用的 LLM 无法使用企业内部数据和用户数据，因此企业在使用 LLM 时，需要将数据全部放在本地，保护数据安全。

RAG 与 SFT：两者的比较

那么，对于 LLM 的上述问题，我们是否有其他解决办法呢？SFT 确实是一种常见的解决方案，但是 RAG 和 SFT 在多个维度上都有各自的优点和弱点。例如，RAG 能够使用动态数据，并且能够利用外部资源增强 LLM 的能力。相较之下，SFT 更适合处理静态数据，它可以对 LLM 进行微调，但对于频繁变动的数据源来说可能不太实用。

当然，RAG 和 SFT 并非非此即彼，合理的做法是根据业务需求，结合两者的优点进行使用。在这个过程中，我们也可以发现 RAG 具有以下优点：

• 可扩展性：降低模型大小和训练成本，并允许轻松扩展知识。
• 准确性：模型基于事实并减少幻觉。
• 可控性：允许更新或定制知识。
• 可解释性：检索到的项目作为模型预测中来源的参考。
• 多功能性：RAG 可以针对多种任务进行微调和定制，包括 QA、文本摘要、对话系统等。

RAG：实现步骤与应用案例

RAG 的实现主要包括三个步骤：数据索引、检索和生成。而数据索引的构建又可以进一步分为数据提取、分块和向量化三个阶段。这些步骤中涉及到的数据处理、文本分块以及数据向量化等技术，都是人工智能领域的重要基础。

让我们在这个令人兴奋的 AI 旅程中继续前进。通过 RAG，我们可以实现一系列应用，包括但不限于：

• 问答系统：基于检索增强生成的问答系统可以从大量的知识库中找到最相关的答案，提供准确的信息。
• 文本生成：利用 RAG，我们可以生成具有深度和广度的文章，丰富读者的阅读体验。
• 对话系统：RAG 可以让对话系统更加智能，更好地理解和满足用户的需求。

结语：向 Self-RAG 的未来

RAG 无疑是一种强大的工具，但我们也看到了它的一些局限性。比如，它依赖于手动标注的知识库，且在遇到大量数据时，可能会面临检索效率低下的问题。因此，我们需要更进一步，探索如何实现自我增强的 RAG，即 Self-RAG。

在这个正在快速发展的 AI 时代，一种新的技术或模型的出现，可能会引发一场革命。对于我们来说，最重要的是理解并掌握这些新技术，以便在未来的 AI 风暴中立于不败之地。

这就是我们今天的内容，希望你能从中获得启发和收获。在人工智能的海洋中，让我们一起乘风破浪，探索更多的可能！

你可能听说过人工智能、机器学习、深度学习等概念，但你知道 RAG（Retrieval Augmented Generation，检索增强生成）和 Self-RAG 吗？今天，我们就一起深入了解一下这两个新兴的人工智能领域概念。

RAG：提升人工智能的知识增强能力

RAG 是一种让大型语言模型 (LLM) 在回答问题或生成文本时，先从大量文档中检索出相关的信息，然后基于这些信息生成回答或文本的方法。这种方法提高了预测的质量，使得开发者不必为每一个特定的任务重新训练整个大型模型，只需要外挂上知识库，即可为模型提供额外的信息输入，提高其回答的准确性。RAG 模型尤其适合知识密集型的任务。

然而，尽管 LLM 具有强大的能力，仍然存在一些问题需要 RAG 解决。例如，LLM 在生成文本时，可能会产生一些幻觉问题；大型模型的训练成本高，更新周期长，对于时效性强的数据处理能力有限；通用的 LLM 没有企业内部数据和用户数据，如何在保证数据安全的同时使用 LLM 成为了一个问题。

RAG 与 SFT：两种方法的对比

实际上，SFT（Supervised Fine-Tuning，监督微调）是解决 LLM 存在问题的另一种常见方法。比较起来，RAG 和 SFT 各有特长。RAG 适合动态数据，擅长利用外部资源，适用于知识密集型任务，而 SFT 可以对 LLM 进行微调以对齐预训练学到的外部知识，优于定制模型的行为或写作风格。两者并非相互排斥，而是可以根据业务需要，结合使用。

RAG 的应用及挑战

RAG 具有诸多优点，例如可扩展性、准确性、可控性、可解释性以及多功能性。例如，ChatPDF 就是一个典型的 RAG 应用案例，该系统首先读取 PDF 文件，将其转换为可处理的文本格式，然后对提取出来的文本进行清理和标准化。当用户提出问题时，ChatPDF 使用 OpenAI 的 Embeddings API 将问题转换为一个向量，并与每个分段的向量进行比较，以找到最相似的分段。最后，ChatPDF 会将 ChatGPT 生成的答案返回给用户，完成一次查询。

然而，RAG 也面临一些挑战。例如，检索效果依赖 embedding 和检索算法，目前可能检索到无关信息，反而对输出有负面影响；大模型如何利用检索到的信息仍是黑盒的，可能仍存在不准确（甚至生成的文本与检索信息相冲突）。

Self-RAG：主动智能的新篇章

与 RAG 不同，Self-RAG 是更加主动和智能的实现方式。它会首先判断是否需要额外检索事实性信息，当有需要时才进行检索，并对检索到的所有任务进行评估，最后生成结果会引用相关片段，以便于查证事实。Self-RAG 的这种自我反思和主动检索的方式，有助于提高模型的准确性和可靠性。

Self-RAG 的一个重要创新是反思字符，这些特殊标记用于检查模型的输出。它们分为 Retrieve 和 Critique 两种类型，用于判断是否需要检索更多信息，以及检索到的信息与输出之间的关系。

训练 Self-RAG 的过程中，我们需要让模型学会生成带有反思字符的文本。这种训练过程需要在一个包含预测的检索段落和反思字符的语料库上进行。在训练结束后，我们得到的模型可以自我评估输出，并在推理过程中自我调整，以达到更精细的输出生成。

一个简单的例子

让我们来看一个 Self-RAG 的例子，帮助我们更好地理解其工作原理。我们假设有一个问题：”Can you tell me the difference between llamas and alpacas?”，以及一个检索到的段落：”The alpaca (Lama pacos) is a species of South American camelid mammal. It is similar to, and often confused with, the llama. Alpacas are considerably smaller than llamas, and unlike llamas, they were not bred to be working animals, but were bred specifically for their fiber.”。

首先，我们把问题和段落作为提示输入到模型中，然后让模型生成返回结果。此时，Self-RAG 就会使用反思字符来自我评估输出，使其在推理过程中具有适应性。根据任务的不同，可以定制模型，通过检索更多段落来优先考虑事实准确性，或强调开放式任务的创造力。

结语

RAG 和 Self-RAG 的出现，进一步拓展了人工智能的边界，使得我们的机器能够更好地理解世界，更准确地回答问题。然而，这还只是开始，人工智能的未来还有无数的可能性等待我们去探索。让我们一起期待未来的到来，期待人工智能能为我们的生活带来更多的便利和惊喜。

+参考资料：原文链接 https://mp.weixin.qq.com/s/tpAJww8gs8uurEidRWSmwA

大家好，欢迎来到「AI与算法学习」！今天，我们将一起探索 LLM（大型语言模型）知识增强的新篇章——从 RAG 到 Self-RAG。

RAG：检索增强生成

RAG（Retrieval Augmented Generation）是一种将检索与生成相结合的技术，旨在提高 LLM 的准确性和可靠性。RAG 的工作原理是：先从大量文档中检索出与给定问题相关的片段，然后将这些片段作为输入，由 LLM 生成最终的回答。

Self-RAG：自我反思检索生成

Self-RAG 是 RAG 的一个改进版本，它通过引入「反思字符」来实现自我评估和输出控制。反思字符是一种特殊的标记，可以帮助模型判断输出是否相关、完整，以及是否需要额外的检索。

Self-RAG 的优势

与传统的 RAG 方法相比，Self-RAG 具有以下优势：

• 更主动和智能：Self-RAG 可以根据任务的不同，主动决定是否需要检索额外的信息，以及检索哪些信息。
• 更灵活和可控：Self-RAG 可以通过调整反思字符的权重来定制模型的行为，使其更加符合特定的需求。
• 更具解释性：Self-RAG 通过反思字符来解释模型的输出，使我们能够更好地理解模型的决策过程。

Self-RAG 的应用

Self-RAG 可以应用于各种各样的任务，包括：

• 问答：Self-RAG 可以从外部文档中检索事实信息，并将其与 LLM 的输出相结合，生成更准确和完整的回答。
• 文本摘要：Self-RAG 可以从长篇文档中提取关键信息，并将其浓缩成更短、更易读的摘要。
• 对话系统：Self-RAG 可以利用外部知识来生成更智能、更人性化的对话。

结语

RAG 和 Self-RAG 是 LLM 知识增强领域的重要技术。它们通过将检索与生成相结合，显著提高了 LLM 的准确性和可靠性。随着这些技术的不断发展，我们将看到 LLM 在越来越多的领域发挥作用。

扩展阅读

• RAG：检索增强生成
• Self-RAG：自我反思检索生成
• LLM 知识增强综述

大家好！今天我们要来了解一个引人注目的话题，那就是科技创新巨头Elon Musk的全新项目——XAI “Gork”。这是一款全新的人工智能系统，其目标竟然是与OpenAI的ChatGPT一较高下。现在就和我一起，深入了解这款即将改变AI领域格局的产品。

首先，我们来看看Gork的基础。它基于神经网络和强化学习，这是Musk的另一家公司Neuralink在脑-机接口领域的重大突破。这种集成使Gork能够实时感知用户的思维和情绪，从而对用户有更为微妙的理解。

Gork的特性真是令人惊叹。首先，它具有卓越的多模态能力，可以理解并生成文本、图像，甚至音频。这一特性无疑将为内容生成、虚拟现实等领域带来深远影响。其次，Gork拥有庞大的知识库，能实时从互联网更新信息，为用户提供准确且最新的回应。此外，Gork的对话技巧可以媲美，甚至超越ChatGPT，它能进行自然且连贯的对话，成为聊天机器人、客户服务和其他交互应用的理想选择。最后，Gork允许用户对其行为和回应进行微调，使开发者能够根据特定任务或行业进行定制。

Gork的潜在影响也是不可忽视的。首先，Gork的出现可能会打破AI市场的格局，对已有模型形成挑战，推动该领域的竞争和创新。其次，Gork的多模态能力为新应用开启了大门，例如，具有人类理解上下文能力的虚拟助手，以及能同时生成文本、图像和音频的内容创作工具。然而，任何先进的AI系统都会引发伦理问题。Gork的模仿人类对话的能力和其广泛的知识库可能会被用于传播错误信息或进行有害活动。此外，依赖AI的行业，如医疗、金融和教育，可能会对Gork的定制功能感到非常满意，这可能会促使这些行业快速采用并将该模型集成到各个领域。

让我们再深入了解一下Gork的技术特点。Gork的架构融合了深度学习和神经网络的最新进展。它采用了与ChatGPT类似的基于Transformer的模型，但加入了一些独特的元素。它使用了一种专有的Transformer架构变体，即“GorkNet”，该架构旨在增强上下文理解和多模态能力。

Gork的训练方法也与ChatGPT有所不同。同时，Gork的大量数据源也引发了关于数据隐私和伦理问题的争论。然而，Musk公开表示，Gork的训练哲学是以“Neural Lace”为中心，这是一个他一直与之相关联的概念。这种哲学旨在确保Gork的学习过程紧密模拟人脑，使其比竞争对手更具适应性和对上下文的理解。

---

Elon Musk的XAI “Gork” 是一个雄心勃勃的项目，旨在推动人工智能领域的发展，挑战已有的AI模型，并开启新的应用可能性。无论你是AI开发者，还是对AI技术感兴趣的观察者，Gork的出现都值得我们密切关注。随着Gork的进一步开发和改进，我们有理由期待它将在未来改变我们与AI的交互方式，并推动AI技术的进一步创新。

号称全球最强的国产 AI 模型竟然套壳LLaMA！

---

大家好，有一份重磅新闻要分享给大家！零一万物，这个在AI领域深耕多年的公司，刚刚发布了他们的首款开源大模型：Yi系列。这一系列的模型包括Yi-34B和Yi-6B，其中Yi-34B的表现更是令人瞩目。

首先，让我们看看这两款模型的强大之处。你有没有想过人工智能可以一次理解两本《三体》那么长的小说，或者超过1000页的PDF文档呢？Yi-34B做到了。它有200K的上下文窗口，可以处理大约40万汉字的超长文本输入。对于需要处理长篇中文文档、书籍或报告的场景，Yi-34B无疑是一个强大的工具。

而在中英文处理能力方面，Yi-34B更是达到了一个新的高度。在Hugging Face英文测试榜单中，Yi-34B位列第一。在中文方面，Yi-34B在C-Eval中文能力排行榜上超越了所有开源模型，包括GPT-4。无论是在CMMLU、E-Eval、Gaokao等中文评测指标上，还是在BooIQ、OBQA两个中文问答指标上，Yi-34B和Yi-6B的表现都无愧于它们的名字。

这样的成绩，离不开零一万物的技术创新。他们自主研发的规模化训练实验平台和智能数据处理管线，以及强大的AI基础设施，都为Yi系列的训练提供了坚实的支撑。

但零一万物并没有就此止步。他们正在积极研究专门处理数学问题的大模型MammoTH。同时，未来的Yi系列还将推出专长代码和数学的继续训练模型。

Yi系列的发布，无疑是人工智能领域的一大里程碑。它展示了零一万物的技术实力，也为我们揭示了人工智能的无限可能性。让我们期待Yi系列在未来能带来更多的惊喜和突破！

01-ai/Yi-34B-200K · Hugging Face