PEFT LoRA适配器与基础模型合并的专业指南

1. 理解PEFT适配器与基础模型的合并需求

在使用peft（parameter-efficient fine-tuning）方法（如lora）对大型语言模型进行微调后，我们通常会得到一个轻量级的适配器模型，而不是一个完整的、独立的微调模型。为了部署或进一步使用这个微调后的模型，需要将这个适配器与原始的基础模型合并，生成一个包含所有权重的新模型。

然而，直接尝试使用transformers库的AutoModel.from_pretrained加载PEFT适配器，或通过手动加权合并基础模型和适配器的state_dict，是常见的误区。这些方法会导致OSError，因为PEFT适配器并非一个完整的transformers模型，它不包含pytorch_model.bin等完整的模型权重文件，而是只包含适配器层的增量权重。

例如，尝试通过以下方式加载适配器会导致错误：

from transformers import AutoModel

pretrained_model_name = "TinyLlama/TinyLlama-1.1B-Chat-v0.6"
adapter_model_name = "ArcturusAI/Crystalline-1.1B-v23.12-tagger"

# 错误示例：直接用AutoModel加载PEFT适配器
try:
    lora_adapter = AutoModel.from_pretrained(adapter_model_name)
except OSError as e:
    print(f"加载适配器时发生错误：{e}")
    print("错误提示表明适配器并非一个完整的transformers模型，缺少必要的权重文件。")

此错误提示明确指出适配器路径下缺少完整的模型权重文件（如pytorch_model.bin），这正是因为适配器并非一个独立的完整模型。

2. 正确合并PEFT适配器：使用peft.merge_and_unload

peft库专为参数高效微调设计，提供了将适配器与基础模型合并的官方且推荐的方法：merge_and_unload()。这个方法能够将适配器层的增量权重集成到基础模型的对应层中，从而生成一个完整的transformers模型实例。

2.1 加载PEFT适配器模型

首先，需要使用peft库提供的AutoPeftModelForCausalLM（或针对特定任务的AutoPeftModelForSequenceClassification等）来加载PEFT适配器。这个类能够正确识别并加载PEFT适配器的配置和权重，并将其与基础模型关联起来。

from peft import AutoPeftModelForCausalLM

# 假设适配器已下载到本地路径，或者直接使用Hugging Face模型ID
# 如果模型在Hugging Face Hub上，可以直接使用其ID
# model_id = "ArcturusAI/Crystalline-1.1B-v23.12-tagger"
# 如果已下载到本地，请使用本地路径
model_id = "./ArcturusAI/Crystalline-1.1B-v23.12-tagger" 

# 加载PEFT适配器模型
peft_model = AutoPeftModelForCausalLM.from_pretrained(model_id)

print(f"加载后的模型类型：{type(peft_model)}")

输出会显示模型类型为peft.peft_model.PeftModelForCausalLM，这表明它是一个由PEFT包装过的模型实例。

2.2 执行合并操作

加载适配器后，调用peft_model.merge_and_unload()方法即可完成合并。此方法会返回一个标准的transformers模型实例，其中包含了基础模型和适配器合并后的所有权重。

# 执行合并操作
merged_model = peft_model.merge_and_unload()

print(f"合并后的模型类型：{type(merged_model)}")

此时，输出的模型类型将变为原始transformers模型类（例如transformers.models.llama.modeling_llama.LlamaForCausalLM），这表示适配器已成功集成到基础模型中，并且现在是一个独立的、可直接使用的transformers模型。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

56

查看详情

3. 保存合并后的模型

合并后的merged_model现在是一个标准的transformers模型实例，可以直接使用save_pretrained()方法将其保存到本地磁盘。这将保存模型的权重、配置以及其他必要的元数据。

# 定义保存路径
save_directory = "ArcturusAI/Crystalline-1.1B-v23.12-tagger-fullmodel"

# 保存合并后的模型
merged_model.save_pretrained(save_directory)

print(f"合并后的模型已成功保存至：{save_directory}")

4. 处理分词器（Tokenizer）

需要注意的是，merge_and_unload()方法仅处理模型的权重。分词器（Tokenizer）是独立于模型权重的组件，它负责将文本转换为模型可理解的输入格式。因此，您仍然需要从原始的基础模型库中加载分词器，并将其与合并后的模型一起保存，以确保新模型是完整的、可用的。

from transformers import AutoTokenizer

# 从基础模型加载分词器
base_model_tokenizer_id = "TinyLlama/TinyLlama-1.1B-Chat-v0.6"
tokenizer = AutoTokenizer.from_pretrained(base_model_tokenizer_id)

# 将分词器保存到与合并模型相同的目录
tokenizer.save_pretrained(save_directory)

print(f"分词器已成功保存至：{save_directory}")

现在，save_directory目录下将包含合并后的模型权重和相应的分词器文件，形成一个完整的模型包。

5. 注意事项：PEFT版本兼容性

在加载PEFT适配器时，可能会遇到由于peft库版本不兼容导致的问题。不同版本的peft库在保存adapter_config.json时可能包含不同的字段。如果您的适配器是用旧版本peft训练的，而您尝试用新版本加载，可能会遇到解析错误。

例如，某些旧版本适配器的adapter_config.json可能包含loftq_config、megatron_config或megatron_core等字段，而这些字段在新版本的peft中可能不再支持或结构发生变化。

解决方案：

1. 升级或降级peft库： 尝试将您的peft库升级到最新版本，或者降级到与训练时使用的版本接近的版本。
2. 手动修改adapter_config.json： 如果版本不兼容导致加载失败，可以尝试手动编辑下载到本地的adapter_config.json文件，删除那些可能引起冲突的字段（如loftq_config、megatron_config、megatron_core）。这种方法需要谨慎操作，并确保您了解这些字段的含义以及删除它们可能带来的影响。

总结

正确合并PEFT LoRA适配器与基础模型是部署和利用微调模型的重要一步。通过使用peft库提供的AutoPeftModelForCausalLM和merge_and_unload()方法，可以高效且准确地完成这一过程。同时，务必记住独立处理分词器，并留意潜在的PEFT版本兼容性问题，以确保最终得到一个功能完整、可直接使用的微调模型。

以上就是PEFT LoRA适配器与基础模型合并的专业指南的详细内容，更多请关注php中文网其它相关文章！