近年来，随着人工智能技术的飞速发展，长文本检索成为了一个备受关注的研究领域。传统的检索方法往往难以处理长文本，而新的模型和方法正在不断涌现，为我们提供了更强大的工具。今天，我们将介绍由斯坦福大学 Hazy Research 团队发布的最新成果：LoCoV1 长文本检索基准测试和 M2-BERT 模型的最新进展。
友情链接：ACEJoy
LoCoV1：一个更全面的长文本检索基准测试
在之前的一篇博文中，Hazy Research 团队曾向社区征求对长文本检索的需求。经过与研究人员和从业者的交流，他们发现法律、编程等领域对长文本检索有着迫切的需求。为了满足这些需求，他们构建了 LoCoV1 基准测试，它包含了来自法律、医学、科学、金融、公司治理、政府报告等多个领域的 12 个任务。
LoCoV1 基准测试使用了多个真实世界的数据集，包括 Tau Scrolls、QASPER、LongBench、Legal Case Reports 等。这些数据集的共同特点是：
- 更长、更复杂的查询和文档格式： LoCoV1 中的查询和文档往往包含大量信息，需要模型具备更强的理解能力才能进行有效的检索。
- 能够评估模型对长文本的处理能力： LoCoV1 的设计确保了查询和文档中包含了大量相关信息，能够有效地测试模型在长文本检索方面的性能。
Hazy Research 团队在 HuggingFace 上发布了 LoCoV1 的查询和文档，方便研究人员进行测试。
M2-BERT 模型的最新进展：更强大的长文本检索能力
为了更好地应对 LoCoV1 基准测试中的挑战，Hazy Research 团队对 M2-BERT 模型进行了微调，并发布了新的 M2-BERT-V2 模型。这些模型针对 128、2k、8k 和 32k 的输入 token 进行了优化，并可以在 HuggingFace 和 Together 平台上进行推理。
在 LoCoV1 基准测试上，M2-BERT-V2 模型的表现非常出色，甚至超过了更大规模的模型。例如，M2-BERT-80M-32k-Retrieval 模型在 LoCoV1 上取得了 95.2 的得分，超过了 4 倍大小的 E5-Mistral 模型和 85 倍大小的 OpenAI Ada 模型。
总结与展望
LoCoV1 基准测试和 M2-BERT 模型的最新进展，标志着长文本检索领域取得了新的突破。未来，Hazy Research 团队将继续探索如何将神经网络、词汇方法和混合方法相结合，进一步提升长文本检索的性能。
参考文献
Announcing LoCoV1 and the Latest M2-BERT Models · Hazy Research