LLaMA-Factory是一个非常好用的开源微调大模型工具。

GitHub：https://github.com/hiyouga/LLaMA-Factory

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

LLaMA-Factory介绍

项目特色

• 多种模型：LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 集成方法：（增量）预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。
• 多种精度：32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。
• 先进算法：GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ 和 Agent 微调。
• 实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。

性能指标

与 ChatGLM 官方的 P-Tuning 微调相比，LLaMA Factory 的 LoRA 微调提供了 3.7 倍的加速比，同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术，LLaMA Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。

添加图片注释，不超过 140 字（可选）

支持的模型

Note 默认模块应作为 --lora_target 参数的默认值，可使用 --lora_target all 参数指定全部模块。 对于所有“基座”（Base）模型，--template 参数可以是 default, alpaca, vicuna 等任意值。但“对话”（Chat）模型请务必使用对应的模板。

项目所支持模型的完整列表请参阅 constants.py。

您也可以在 template.py 中添加自己的对话模板。

训练方法

数据集

预训练数据集指令微调数据集偏好数据集

部分数据集的使用需要确认，我们推荐使用下述命令登录您的 Hugging Face 账户。

pip install --upgrade huggingface_hub
huggingface-cli login

软硬件依赖

硬件依赖

* 估算值

安装过程

安装依赖

按照GitHub上介绍的过程安装即可，为了加快速度，增加了国内的pip 源。

git clone https://github.com/hiyouga/LLaMA-Factory.git
conda create -n llama_factory python=3.10
conda activate llama_factory
cd LLaMA-Factory
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[metrics]

可选的额外依赖项：deepspeed、metrics、unsloth、galore、vllm、bitsandbytes、gptq、awq、aqlm、qwen、quality

LLaMA Board 可视化界面

注意：LLaMA Board 可视化界面目前仅支持单 GPU 训练，请使用命令行接口来进行分布式训练。

使用本地环境：

export CUDA_VISIBLE_DEVICES=0 # Windows 使用 `set CUDA_VISIBLE_DEVICES=0`

python src/train_web.py # 或 python -m llmtuner.webui.interface

执行后：

添加图片注释，不超过 140 字（可选）

然后就可以访问web界面了：

添加图片注释，不超过 140 字（可选）

数据准备

可以使用 HuggingFace / ModelScope 上的数据集或加载本地数据集。使用自定义数据集时，请更新 data/dataset_info.json 文件。

效果测试（持续更新）

准备训练几个QWen1.5的模型试一下，从0.5B的开始。

QWen1.5-0.5B + Example

速度非常快。看了一下数据，就2条，怪不得快

添加图片注释，不超过 140 字（可选）

QWen1.5-0.5B + alpach_gpt4_zh训练Lora

这个有48818条记录，数据格式如下：

添加图片注释，不超过 140 字（可选）

训练设置如下：

添加图片注释，不超过 140 字（可选）

看后端提示，在对数据处理后就开始训练了：

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

前端可以看见训练进度：

添加图片注释，不超过 140 字（可选）

0.5B的模型，可是训练起来需要的时间也不少。

添加图片注释，不超过 140 字（可选）

在T4 GPU上训练了4个小时结束

添加图片注释，不超过 140 字（可选）

训练结果在：LLaMA-Factory/saves目录下。

QWen1.5-0.5B + alpach_gpt4_zh全量

添加图片注释，不超过 140 字（可选）

预估时间8小时多，是Lora模式的一倍：

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

QWen1.5-0.5B + alpach_gpt4_zh freeze

添加图片注释，不超过 140 字（可选）

预估时间也是4个多小时：

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

内存占用：

添加图片注释，不超过 140 字（可选）

比全量的少一些。