🚀 从零到一：LLMBox让大语言模型训练与应用触手可及

作者

🌟 引言：开启AI新纪元

在人工智能的浩瀚宇宙中，大语言模型(Large Language Models, LLMs)无疑是当前最耀眼的星辰。它们就像是智能世界中的”万能钥匙”，能够解锁无数可能性的大门。然而，对于许多研究者和开发者来说，驾驭这些强大的模型却如同驯服一匹烈马，既充满挑战，又令人向往。今天，让我们一起揭开一个令人兴奋的项目面纱——LLMBox，这个项目将彻底改变我们与大语言模型互动的方式！

想象一下，如果有一个工具箱，里面装满了训练和使用大语言模型所需的一切工具，会是什么样子？这正是LLMBox的愿景。它就像是为AI世界量身定制的瑞士军刀，集训练、评估、应用于一体，让每个人都能轻松驾驭大语言模型的力量。

💡 LLMBox：一站式大语言模型解决方案

LLMBox的诞生，犹如AI领域的一场革命。它不仅仅是一个简单的工具库，更是一个完整的生态系统。通过精心设计的架构，LLMBox在训练和应用阶段都实现了高度的灵活性和效率。让我们深入了解这个神奇工具箱的关键特性：

🎓 训练篇：打造你的专属AI助手

  1. 多样化的训练策略
    LLMBox支持多种训练策略，包括监督微调(SFT)、预训练(PT)、PPO和DPO。这就像是给你提供了多种”烹饪方法”，你可以根据自己的”口味”（需求）选择最适合的方式来”烹饪”（训练）你的模型。
  2. 丰富的SFT数据集
    提供9种SFT数据集作为训练输入。这就像是给你的AI助手准备了丰富多样的”学习材料”，让它能够从多个角度学习和理解人类的语言和知识。
  3. 分词器词汇表合并
    支持分词器合并功能以扩展词汇表。这就像是给你的AI助手增加了新的”词汇书”，让它能够理解和使用更多的词语，提高语言处理能力。
  4. 数据构建策略
    支持合并多个数据集进行训练，并提供Self-Instruct和Evol-Instruct等数据处理方法。这就像是为你的AI助手设计了个性化的”学习计划”，让它能够更有针对性地学习和进步。
  5. 参数高效微调
    在SFT或PT中支持LoRA和QLoRA。这就像是给你的AI助手提供了”快速学习”的方法，让它能够在短时间内掌握新技能，而不需要重新学习所有内容。
  6. 高效训练
    支持Flash Attention和Deepspeed以提高训练效率。这就像是给你的AI助手配备了”超级大脑”，让它能够更快速地学习和处理信息。

🚀 应用篇：释放AI的无限潜能

  1. 超快速推理
    通过管理前缀的KV缓存，本地推理速度最高可提升6倍。这就像是给你的AI助手装上了”火箭推进器”，让它能够以惊人的速度回答你的问题。
  2. 全面评估
    支持56+常用数据集和基准，全方位评估LLMs的性能。这就像是为你的AI助手准备了一系列”考试”，全面测试它的各项能力。
  3. 多样化评估方法
    准确重现OpenAI、LLaMA、Mistral等模型原始论文的结果。这就像是让你的AI助手参加”模拟考试”，检验它是否达到了业界标准。
  4. 上下文学习
    支持多种ICL策略，包括KATE、GlobalE和APE。这就像是教会你的AI助手”举一反三”的能力，让它能够更灵活地应对各种问题。
  5. 思维链
    对某些数据集支持三种CoT评估：基础、从少到多和PAL。这就像是训练你的AI助手进行”逻辑推理”，让它能够解决更复杂的问题。
  6. 高效推理支持
    支持vLLM和Flash Attention，提高推理效率。这就像是给你的AI助手配备了”超级计算机”，让它能够更快速地处理复杂任务。
  7. 量化支持
    支持BitsAndBytes和GPTQ量化。这就像是给你的AI助手进行”体积压缩”，让它能够在更小的设备上运行，而不失其强大的能力。

🛠️ 快速上手：开启你的AI之旅

安装LLMBox

首先，让我们通过以下命令克隆LLMBox仓库并安装必要的依赖：

git clone https://github.com/RUCAIBox/LLMBox.git && cd LLMBox
pip install -r requirements.txt

如果你只需要评估OpenAI（或兼容OpenAI的模型，如DeepSeek、Perplexity），可以安装最小依赖：

pip install -r requirements-openai.txt

训练你的第一个模型

让我们从训练一个基于LLaMA-2（7B）的SFT模型开始，使用deepspeed3：

cd training
bash download.sh
bash bash/run_ds3.sh

这个简单的命令序列就能启动一个强大的模型训练过程。想象一下，你正在为你的AI助手灌输知识，很快它就能成为你的得力助手！

使用和评估模型

训练完成后，你可以立即开始使用和评估你的模型。以下命令将在CoPA数据集上以零样本方式运行OpenAI GPT 3.5 turbo模型：

python inference.py -m gpt-3.5-turbo -d copa

这就像是让你的AI助手参加一次”能力测试”，看看它在理解因果关系方面的表现如何。

🌈 进阶应用：释放LLMBox的全部潜力

训练进阶

LLMBox支持各种训练策略和数据集构建策略，以及一些提高效率的模块。以下是一个更复杂的训练命令示例：

python train.py \
    --model_name_or_path meta-llama/Llama-2-7b-hf \
    --data_path data/ \
    --dataset alpaca_data_1k.json \
    --output_dir $OUTPUT_DIR \
    --num_train_epochs 2 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --save_strategy "epoch" \
    --save_steps 2 \
    --save_total_limit 2 \
    --learning_rate 1e-5 \
    --lr_scheduler_type "constant"

这个命令看似复杂，但每个参数都有其特定的用途。比如，--num_train_epochs 2设定训练两个完整周期，--learning_rate 1e-5设置一个较小的学习率以微调模型。这就像是为你的AI助手制定了一个详细的”学习计划”，指导它如何更好地吸收新知识。

分词器合并

如果你想在非英语语料上预训练模型，LLMBox提供了分词器合并功能：

bash bash/run_7b_pt.sh

这个功能就像是教会你的AI助手”新的语言”，让它能够理解和处理更多种类的文本。

数据集合并

LLMBox允许你混合多个数据集进行训练：

bash bash/run_7b_hybrid.sh

这就像是为你的AI助手提供了”多元化的学习材料”，让它能够从不同角度学习知识，成为一个全面发展的AI助手。

Self-Instruct和Evol-Instruct

LLMBox还支持Self-Instruct和Evol-Instruct来增强或改进输入数据：

python self_instruct/self_instruct.py --seed_tasks_path=seed_tasks.jsonl

这个功能就像是让AI自己产生”练习题”，通过不断的自我提问和回答来提升能力，真是AI版的”自我修炼”啊！

🎯 模型评估：全方位测试你的AI助手

LLMBox提供了广泛的模型支持，包括Huggingface模型（如LLaMA-3、Mistral）、OpenAI、Anthropic、QWen等。它还支持56+种常用数据集，包括HellaSwag、MMLU、GSM8K、GPQA、AGIEval、CEval和CMMLU等。

以下是一个复杂的评估命令示例：

CUDA_VISIBLE_DEVICES=0 python inference.py \
  -m llama-2-7b-hf \
  -d mmlu agieval:[English] \
  --model_type chat \
  --num_shot 5 \
  --ranking_type ppl_no_option

这个命令在MMLU和AGIEval（英语部分）数据集上评估llama-2-7b-hf模型，使用5-shot设置和特定的排序类型。这就像是让你的AI助手参加一次综合能力考试，测试它在多个领域的表现。

📊 性能展示：见证AI的进化

以下是一些模型在不同任务上的表现：

模型Hellaswag (0-shot)MMLU (5-shot)GSM (8-shot)
GPT-3.5 Turbo79.9869.2575.13
LLaMA-2 (7B)7645.9514.63

这些数据展示了不同模型在各种任务上的能力。GPT-3.5 Turbo在所有任务上都表现出色，而LLaMA-2 (7B)虽然在某些任务上稍逊一筹，但考虑到它更小的模型大小，其表现也是相当不错的。

🚄 高效评估：让AI思考如闪电般迅速

LLMBox默认启用前缀缓存以提高评估效率，同时也支持vLLM。以下是不同方法的时间对比：

模型效率方法Hellaswag (0-shot)MMLU (5-shot)GSM (8-shot)
LLaMA-2 (7B)原始0:05:320:18:302:10:27
LLaMA-2 (7B)vLLM0:06:370:14:550:03:36
LLaMA-2 (7B)前缀缓存0:05:480:05:510:17:13

从这些数据中我们可以看到，使用vLLM或前缀缓存可以显著减少评估时间，尤其是在处理较大数据集如GSM时。这就像是给你的AI助手配备了”超级大脑”，让它能够以惊人的速度处理复杂任务。

要使用vLLM，你可以使用以下命令：

python inference.py -m ../Llama-2-7b-hf -d mmlu:abstract_algebra,anatomy --vllm True

如果你想使用量化评估，可以使用以下命令：

python inference.py -m model -d dataset --load_in_4bits

这些高级功能就像是为你的AI助手提供了”思维加速器”，让它能够更快速、更高效地完成各种任务。

🧠 多样化评估方法：全方位检验AI能力

LLMBox支持多种评估方法，适用于不同类型的数据集：

  • 对于GenerationDataset，使用generation方法。
  • 对于MultipleChoiceDataset，可以使用get_ppl（变体包括ppl_no_option和ppl）或get_prob方法。

默认情况下，MultipleChoiceDataset使用get_ppl方法和ppl_no_option排序类型，GenerationDataset使用generation方法。你可以通过以下命令更改评估方法：

python inference.py -m model -d dataset --ranking_type prob

LLMBox还支持上下文学习和思维链评估：

python inference.py -m model -d dataset --kate
python inference.py -m model -d dataset --cot least_to_most

这些多样化的评估方法就像是为你的AI助手设计了一系列全面的”能力测试”，从不同角度检验它的理解力、推理能力和创造力。

🌟 结语：AI新纪元的曙光

LLMBox的出现，无疑为AI领域带来了一股清新的风。它不仅仅是一个工具，更是一个改变游戏规则的创新。通过LLMBox，无论你是AI研究者、开发者，还是对AI充满好奇的探索者，都能轻松驾驭大语言模型的力量。

想象一下，在不久的将来，每个人都能轻松训练和使用自己的AI助手，解决各种复杂问题，创造令人惊叹的内容。这不再是科幻小说中的场景，而是触手可及的现实。LLMBox正在为我们开启一个AI民主化的新时代，在这个时代，人工智能的力量将不再局限于少数精英，而是成为每个人都能掌握的工具。

让我们一起拥抱这个激动人心的未来，用LLMBox释放你的创造力，探索AI的无限可能！无论你是想要一个能写诗的AI，还是一个精通科学的虚拟助手，LLMBox都能帮你实现。现在，是时候开始你的AI冒险之旅了！

📚 参考文献

  1. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.
  2. Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., … & Lample, G. (2023). Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288.
  3. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., … & Lowe, R. (2022). Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155.
  4. Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., … & Le, Q. (2022). Chain-of-thought prompting elicits reasoning in large language models. arXiv preprint arXiv:2201.11903.
  5. Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., … & Chen, W. (2022). Lora: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685.

发表评论