DreamBooth:3步完成AIGC自由绘画创作

├── train_dreambooth.py  # 训练脚本├── train_dreambooth_lora.py # 训练脚本lora版├── export_model.py #导出Diffusion脚本├── dream_image_single #训练集图片-单卡├── dream_image_single #训练集图片-多卡├── dream_image_single #训练集图片-类别（用于做先验训练,不用可略过）├── dream_outputs_single  # 单卡训练模型文件存储路径├── dream_outputs_mulyiply  # 多卡训练模型文件存储路径├── dream_outputs_single_lora  # 单卡+lora优化训练模型文件存储路径├── models #存放导出Diffusion训练模型的文件夹├── pics # 待训练图片存放文件夹
    ├── pic_class # 存放用于先验知识学习的同类图片
    ├── pic_train # 用于DreamBooth模型训练的训练图片

# 输出内容较多,需进行添加清理from IPython.display import clear_output

!pip install --upgrade -U paddlenlp ppdiffusers visualdl --user#!mkdir /home/aistudio/external-libraries#!pip install --upgrade -U ppdiffusers visualdl -t /home/aistudio/external-librariesclear_output()print("依赖库安装成功")

import sys 
sys.path.append('/home/aistudio/external-libraries')print(sys.path)

# 创建实例(物体)保存文件夹!mkdir ./dream_image_single
!mkdir ./dream_outputs_single
!mkdir ./dream_image_class
!mkdir ./dream_outputs_single_lora
!mkdir ./dream_image_multiply
!mkdir ./dream_outputs_multiply

# 将pics中的图片复制到实例文件夹中%cd /home/aistudio/pics/pic_train
!cp * /home/aistudio/dream_image_single
!cp * /home/aistudio/dream_image_multiply

#将data中的先验图片复制到class文件夹中%cd /home/aistudio/pics/pic_class
!cp * /home/aistudio/dream_image_class

# 返回目录文件夹%cd

# 输出内容较多,需进行添加清理from IPython.display import clear_output

# 单卡训练!python -u train_dreambooth.py \
--pretrained_model_name_or_path="CompVis/stable-diffusion-v1-4" \
--instance_data_dir="dream_image_single" \
--output_dir="dream_outputs_single" \
--instance_prompt="a photo of kunkun" \
--resolution=512 \
--train_batch_size=1 \
--gradient_accumulation_steps=1 \
--learning_rate=5e-6 \
--lr_scheduler="constant" \
--lr_warmup_steps=0 \
--max_train_steps=500# 先验知识参数(添加会增加训练时间)"""
--with_prior_preservation \
--class_prompt="a photo of kunkun" \
--class_data_dir="dream_image_class" \
--num_class_images=300 \
--sample_batch_size=5 \
--prior_loss_weight=1.0 \
"""# 输出太长清理clear_output()# 添加提示print("训练结束")

# 使用多卡训练,参数与单卡类似,--gpus可调gpu使用数量,这个cell只能用V100来运行import paddle
!python -u -m paddle.distributed.launch --gpus "0,1,2,3" train_dreambooth.py \
--pretrained_model_name_or_path="CompVis/stable-diffusion-v1-4" \
--instance_data_dir="dream_image_multiply" \
--output_dir="dream_outputs_multiply" \
--instance_prompt="a photo of kunkun" \
--resolution=512 \
--train_batch_size=1 \
--gradient_accumulation_steps=1 \
--learning_rate=5e-6 \
--lr_scheduler="constant" \
--lr_warmup_steps=0 \
--max_train_steps=500# 先验知识参数(添加会增加训练时间)"""
--with_prior_preservation \
--class_prompt="a photo of kunkun" \
--class_data_dir="dream_image_class" \
--num_class_images=200 \
--sample_batch_size=5 \
--prior_loss_weight=1.0 \
"""# 输出太长清理clear_output()# 添加提示print("训练结束")

# 加入Lora进行模型优化!python train_dreambooth_lora.py \
--pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
--instance_data_dir="dream_image_single" \
--output_dir="dream_outputs_single_lora" \
--instance_prompt="a photo of kunkun" \
--resolution=768 \
--train_batch_size=1 \
--gradient_accumulation_steps=1 \
--learning_rate=1e-4 \
--lr_scheduler="constant" \
--lr_warmup_steps=0 \
--max_train_steps=500 \
--validation_prompt="A photo of kunkun in a state" \
--validation_epochs=50 \
--lora_rank=4 \
--seed=0# 先验知识参数(添加会增加训练时间)"""
--with_prior_preservation \
--class_prompt="a photo of kunkun" \
--class_data_dir="dream_image_class" \
--num_class_images=300 \
--sample_batch_size=5 \
--prior_loss_weight=1.0 \
"""# 输出太长清理clear_output()# 添加提示print("训练结束")

# 模型推理部分from ppdiffusers import StableDiffusionPipeline,DiffusionPipeline, DPMSolverMultistepScheduler# 模型的加载地址，这里我们输入了训练时候使用的 output_dir 地址model_path_single = "./dream_outputs_single"model_path_multiply="./dream_outputs_multiply"# 将加载到pipe中pipe_single = StableDiffusionPipeline.from_pretrained(model_path_single)
pipe_multiply = StableDiffusionPipeline.from_pretrained(model_path_multiply)# 输出太长清理clear_output()# 文字提示输入prompt = "A photo of kunkun in Eiffel Tower"   # 图片生成image1 = pipe_single(prompt).images[0]
image2 = pipe_multiply(prompt).images[0]# 保存图片，我们可以查看imageimage1.save("kunkun1.png")
image2.save("kunkun2.png")

# lora训练的模型# 模型的加载地址，这里我们输入了训练时候使用的 output_dir 地址model_path_lora="./dream_outputs_single_lora"# 将加载到pipe中pipe_lora = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipe_lora.scheduler = DPMSolverMultistepScheduler.from_config(pipe_lora.scheduler.config)
pipe_lora.unet.load_attn_procs("dream_outputs_single_lora", from_hf_hub=True)# 文字提示输入prompt = "A photo of kunkun in Eiffel Tower"   # 图片生成image3 = pipe_lora(prompt, num_inference_steps=25).images[0]# 保存图片，我们可以查看imageimage3.save("kunkun3.png")

#让我们来看下实例的效果image1

image2

image3