在人工智能研究的最前沿，一个引人入胜的问题正在引发科学家们的热烈讨论：大型语言模型(LLMs)是否能够”理解”符号图形程序？这个看似简单的问题背后，蕴含着对人工智能能力边界的探索，以及对机器”想象力”的追问。
近日，来自马克斯·普朗克智能系统研究所、剑桥大学和麻省理工学院的研究团队发表了一项开创性研究，他们创建了一个名为SGP-Bench的基准测试，专门用于评估大型语言模型对符号图形程序的语义理解能力。这项研究不仅揭示了当前人工智能系统的局限性，也为未来的发展指明了方向。
符号图形程序：一个独特的挑战
符号图形程序是一种用代码描述视觉内容的方法，广泛应用于计算机图形学领域。与普通的计算机程序不同，符号图形程序可以直接转换成图像或3D模型。研究人员巧妙地利用了这一特性，设计了一系列测试来评估语言模型是否能够”理解”这些程序所描述的视觉内容。
研究的第一作者Zeju Qiu解释道：”我们面临的挑战是，如何判断一个语言模型是否真正’理解’了一段符号图形程序。我们的解决方案是，通过让模型回答与程序生成的图像相关的语义问题来评估其理解能力。这些问题对于看到图像的人来说很容易回答，但仅凭程序代码却难以回答。”
SGP-Bench：一个全面的评估基准
研究团队构建的SGP-Bench基准包含了两类符号图形程序：可缩放矢量图形(SVG)和计算机辅助设计(CAD)。他们收集了1,085个SVG程序和2,400个CAD程序，涵盖了19个不同的类别。每个程序都配有多个语义问题，这些问题涉及颜色、形状、计数和推理等多个方面。
研究人员使用了一种创新的方法来生成这些问题。他们首先将符号程序渲染成图像，然后使用GPT-4等先进的视觉语言模型来生成相关问题。这种方法不仅高效，还能确保问题的质量和多样性。
人工智能的”想象力”测试
SGP-Bench的核心在于测试语言模型是否能够”想象”符号程序所描述的视觉内容。研究的共同第一作者Weiyang Liu表示：”这项任务要求语言模型具备一种’视觉想象’能力。它们需要在没有实际看到图像的情况下，仅凭程序代码就能推断出视觉内容的语义信息。这是一项极具挑战性的任务，因为它涉及到长程序序列推理和精细的语义理解。”
研究结果显示，即使是最先进的语言模型在这项任务上也面临着巨大挑战。在SVG程序的理解测试中，所有模型的平均准确率低于65%。其中表现最好的是Claude 3.5 Sonnet模型，准确率为63%。在CAD程序的测试中，模型的表现略好一些，但平均准确率仍低于80%。
模型规模与性能的关系
研究发现，语言模型的性能与其规模呈现出明显的正相关关系。例如，当Llama-3模型的参数从8B增加到70B时，其在SVG测试中的得分从42.9%提升到54.8%。这一发现符合人工智能领域广为人知的”缩放定律”，即模型规模越大，性能通常越好。
然而，研究也发现，不同类型的问题对模型构成了不同程度的挑战。大多数模型在颜色相关的问题上表现最好，其次是形状相关的问题。而在涉及计数和语义的问题上，模型的表现则相对较差。这种表现模式在某种程度上类似于人类视觉信息处理的粗到细结构。
提升模型理解能力的新方法
为了进一步提高语言模型对符号图形程序的理解能力，研究团队提出了一种名为”符号指令微调”(Symbolic Instruction Tuning, SIT)的新方法。这种方法利用渲染后的图像和强大的视觉语言模型来生成详细的指令数据集，然后用这些数据集来微调开源语言模型。
研究的另一位共同第一作者Haiwen Feng解释道：”SIT方法的关键在于，我们利用了符号程序和渲染图像之间的对应关系。通过让视觉语言模型根据图像生成问题和答案，我们可以创建一个高质量的指令数据集。这种方法不仅可扩展，而且能显著提升模型的符号程序理解能力。”
未来展望：迈向更强大的人工智能
这项研究不仅为评估语言模型的能力提供了新的视角，也为提升人工智能系统的视觉推理能力指明了方向。研究团队相信，随着符号图形程序理解能力的提升，语言模型有望在更广泛的视觉推理任务中发挥作用。
然而，研究也揭示了当前人工智能系统与人类认知之间仍存在显著差距。例如，研究团队创建了一个符号MNIST数据集，其中的符号程序对于最强大的语言模型来说都极具挑战性，但对人类来说却很容易识别。这一发现提醒我们，尽管人工智能取得了巨大进步，但在某些方面仍然无法媲美人类的认知能力。
随着研究的深入，我们或许能够更好地理解人工智能系统的认知过程，并开发出更接近人类思维的算法。这不仅有助于推动人工智能技术的进步，也为我们理解人类认知提供了新的视角。
在人工智能快速发展的今天，SGP-Bench这样的基准测试为我们提供了一个重要的工具，帮助我们更准确地评估和理解人工智能系统的能力。随着研究的不断深入，我们期待看到更多突破性的发现，推动人工智能向着更智能、更灵活的方向发展。
参考文献：
[1] Qiu, Z., Liu, W., Feng, H., et al. (2023). Can Large Language Models Understand Symbolic Graphics Programs? arXiv:2408.08313v1.