月度归档： 2023 年 6 月

UC伯克利开源了 vLLM 这个大语言模型推理和服务引擎。

主要亮点包括:

1. 使用新的PagedAttention注意力算法,可以有效管理注意力键值缓存,节省内存开销。
2. 性能明显优于HuggingFace Transformers, 吞吐量提升24倍。
3. 能够在GPU资源有限的情况下提供LLM服务。
4. 能支持各种LLM模型架构,如GPT系列、LLaMA等。
5. vLLM已经被用于Chatbot Arena和Vicuna LM模型的服务后端,提升吞吐量30倍。

主要技术亮点在于PagedAttention算法。它通过在非连续内存空间中存储注意力键值,有效管理内存。

使用vLLM可以很容易完成离线推理和在线部署,提供类似OpenAI API的服务。项目对于降低LLM服务的成本和难度具有重要意义,有利于更多机构和团队部署自己的LLM服务。vLLM是一个值得关注的开源项目,解决了LLM服务效率和可伸缩性方面的重大挑战。