【新手入门】0 基础掌握大模型训练（二）：LoRA 轻量微调实战

from paddlenlp.peft import LoRAConfig  
lora_config = LoRAConfig(  
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],  # 完整Transformer注意力层  
    r=8,                # 低秩矩阵秩（A100推荐值，兼顾效果与速度）  
    lora_alpha=32,      # 缩放因子（4×秩，提升学习稳定性）  
    merge_weights=False, # 训练时不合并权重，节省显存约20%  
    tensor_parallel_degree=1  # 单卡训练模式  )  

training_args = TrainingArguments(  
    per_device_train_batch_size=2,          # 单卡batch size  
    gradient_accumulation_steps=8,         # 等效batch_size=16，显存占用不变  
    num_train_epochs=3,                     # 训练轮次  
    save_strategy="steps", save_steps=100,  # 每100步保存检查点  
    logging_steps=10,                       # 高频日志监控训练状态  
    max_grad_norm=1.0,                      # 梯度裁剪防止溢出  
    bf16=False, fp16=True                   # 启用FP16混合精度，速度提升2倍  )

lora_config = LoRAConfig(  
    r=4,                # 显存紧张时设4（RTX 4060专属参数）  
    quantization_bit=4, # 4bit量化，模型体积压缩75%  
    bias="none",        # 不训练偏置项（省显存小技巧）  )

{  
  instruction:"回答以下网络安全问题" // 任务指令（告诉模型要干啥，比如「回复问题」）
  input:"什么是DDoS攻击？如何有效防御？" // 输入信息
  output:"DDoS攻击是分布式拒绝服务攻击，通过大量请求淹没目标资源。防御方法包括增加带宽、使用高防IP、启用验证码、配置防火墙规则以及部署DDoS防御系统。" // 正确答案（模型要学的标准答案）
}

def read_local_dataset(path):
    """数据加载与清洗"""
    train_data = []    with open(path, 'r', encoding='utf-8') as f:
        data = json.load(f)        for item in data:            # 构建三段式提示语
            text = f"### 问题：{item['instruction']}\n\n### 回答：{item['output']}"
            train_data.append({"text": text})    return train_data

def main():
    # 加载基础模型
    model = AutoModelForCausalLM.from_pretrained(config.MODEL_NAME)    
    # 应用LoRA配置
    model = LoRAModel(model, lora_config)    
    # 打印可训练参数比例
    model.print_trainable_parameters()

# 创建训练器trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=processed_dataset,
    data_collator=data_collator,
    optimizers=(optimizer, lr_scheduler)
)# 开始训练train_result = trainer.train()

def generate_response(model, tokenizer, prompt, max_length=512):
    """推理核心实现"""
    # 处理输入
    inputs = tokenizer(prompt, return_tensors="pd", padding=True)    
    # 生成配置
    gen_kwargs = {        "max_new_tokens": max_length,        "temperature": float(config.TEMPERATURE),        "top_p": float(config.TOP_P),        "repetition_penalty": float(config.REPETITION_PENALTY)
    }    
    # 生成回复
    outputs = model.generate(**inputs, **gen_kwargs)
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)    
    return response

def create_web_ui():
    """创建交互式界面"""
    with gr.Blocks(theme=theme) as demo:
        gr.Markdown("# 网络安全专家助手")        
        with gr.Row():            with gr.Column(scale=4):
                chatbot = gr.Chatbot()
                msg = gr.Textbox(label="输入您的问题")                
                with gr.Row():
                    submit = gr.Button("发送")
                    clear = gr.Button("清除对话")

# 安装依赖pip install -r requirements.txt --user

# 开始生成数据python data_generator.py

# 开始训练python train.py \
    --model_name_or_path "Qwen/Qwen2.5-0.5B-Instruct" \
    --output_dir "checkpoints" \
    --dataset_path "security_dataset.json" \
    --num_train_epochs 3 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --learning_rate 5e-5 \
    --warmup_ratio 0.1 \
    --weight_decay 0.01 \
    --max_seq_length 512 \
    --logging_steps 10 \
    --save_steps 100 \
    --do_train \
    --bf16 \
    --overwrite_output_dir

# 开始测试python test_model.py

# 运行Web界面python main.gradio.py