Stable Diffusion怎么训练LoRA SD模型LoRA炼丹详细全流程【教程】

LoRA模型训练需七步：一、确认NVIDIA显卡≥6GB显存、CUDA可用、Python 3.10；二、下载部署kohya_ss；三、准备15–30张高质量正方形图像；四、用BLIP/DeepBooru打标并优化；五、配置SD1.5基模、LoRA参数（Dim=128, Alpha=64）；六、启动训练并监控显存与日志；七、在SD WebUI中加载测试，权重设0.8–1.2并含触发词。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

如果您已安装 Stable Diffusion WebUI 并希望训练专属 LoRA 模型，但对数据准备、参数配置与训练流程不熟悉，则可能是由于缺乏标准化操作路径导致训练失败或效果不佳。以下是完成 LoRA 模型训练的全流程步骤：

一、确认硬件与基础环境

LoRA 训练对 GPU 显存和 CUDA 兼容性有明确要求，本地训练需确保显卡驱动与 Python 环境满足最低依赖。未达标的设备将无法启动训练进程或中途崩溃。

1、检查显卡型号是否为 NVIDIA 系列，且显存 ≥ 6GB；

2、运行 nvidia-smi 命令验证驱动状态与 CUDA 可见性；

3、确认 Python 版本为 3.10.x，避免使用 3.11 或更高版本引发 kohya_ss 兼容异常；

4、若使用 Windows 系统，需提前安装 Microsoft Visual C++ 2019 Redistributable；

5、在命令行中执行 python -c "import torch; print(torch.cuda.is_available())"，返回 True 表示 CUDA 正常启用。

二、下载并部署训练工具包

kohya_ss 是当前最主流的 LoRA 训练 WebUI，它封装了全部训练脚本与前端界面，无需手动编写训练命令，大幅降低入门门槛。

1、访问 GitHub 官方仓库：https://github.com/kohya-ss/sd-scripts；

2、点击绿色 Code 按钮 → Download ZIP，保存至非系统盘（如 D:\kohya）；

3、解压后进入目录，双击运行 setup_windows.bat（Windows）或 setup_linux.sh（Linux）；

4、等待自动安装依赖库，过程中出现多次 yes/no 提示时，全部按回车接受默认选项；

5、安装完成后，双击 gui.bat 启动 WebUI，浏览器自动打开 http://127.0.0.1:7860。

三、准备高质量训练图像集

图像质量与多样性直接决定 LoRA 复刻精度。低分辨率、模糊、背景杂乱或角度单一的图片将导致模型泛化能力差，无法稳定生成指定特征。

1、收集 15–30 张目标主体图像，涵盖正面、侧面、半身、全身、不同光照与表情；

2、统一裁剪为正方形，推荐尺寸为 512×512 像素，使用在线工具或 Python PIL 批量处理；

3、对真人图像建议使用 AI 抠图工具（如 rembg 或阿里云 API）去除背景，仅保留主体；

4、将所有图像保存至新建文件夹，例如 D:\lora_train\input\，禁止中文路径与空格；

5、命名采用纯英文+数字，如 chara_01.png、chara_02.png，避免特殊符号。

四、图像自动打标与标签优化

标签是模型理解图像语义的关键输入，错误或冗余标签会干扰特征学习。BLIP 适用于写实类图像，DeepBooru 更适合二次元风格，需按需选择。

1、在 WebUI 左侧导航栏点击 Image Captioning；

2、设置输入目录为刚才创建的 input 文件夹，输出目录设为同级 captioned 文件夹；

3、模型选择 BLIP（真人）或 DeepBooru（二次元），勾选 Overwrite existing captions；

4、点击 Run 开始批量生成 .txt 标签文件；

HIX Translate

由 ChatGPT 提供支持的智能AI翻译器

114

查看详情

5、打开任意生成的 .txt 文件，手动删减无关标签（如 blurry_background、lowres），保留核心特征词（如 1girl、long_hair、red_dress）；

6、在所有 .txt 中统一添加基础触发词，例如 masterpiece, best quality, 1girl，置于每行开头。

五、配置 LoRA 训练参数

参数组合影响收敛速度、过拟合风险与最终风格还原度。过大 batch_size 易显存溢出，过小则训练缓慢；学习率过高导致震荡，过低则难以收敛。

1、在 WebUI 中切换至 Train 标签页；

2、Base Model 选择已下载的 SD 1.5 大模型（.safetensors 文件），路径填入 models/Stable-diffusion/your_model.safetensors；

3、设置 Output Directory 为新路径，如 D:\lora_train\output\；

4、LoRA Type 选择 LoRA，Network Dim 设为 128，Network Alpha 设为 64；

5、Training Steps 填 1000–2000，取决于图像数量与复杂度；

6、Learning Rate 设置为 1e-4（即 0.0001），Optimizer 选 AdamW8bit；

7、勾选 Cache Latents 与 No Token Padding，提升训练稳定性。

六、启动训练并监控过程

训练启动后需持续观察日志输出与显存占用，异常中断可能由路径错误、显存不足或标签格式问题引起，及时暂停可避免无效耗时。

1、点击页面右下角 Train 按钮，后台开始构建训练任务；

2、切换至终端窗口（或 WebUI 日志面板），查看实时输出，确认出现 Starting training... 字样；

3、观察 GPU 显存占用是否稳定在 90% 以下，若持续 100% 且无进度更新，立即关闭并调低 batch_size；

4、每 200 步自动生成一张预览图，保存于 output 目录下的 sample 子文件夹；

5、当控制台显示 Saving checkpoint... 且生成 .safetensors 文件时，表示单次训练完成。

七、测试与验证 LoRA 效果

生成结果需在原始 SD WebUI 中加载验证，仅依赖训练界面预览图无法判断真实泛化能力。触发词缺失或权重不当会导致特征不显现。

1、将生成的 .safetensors 文件复制至 models/Lora/ 目录；

2、重启 SD WebUI，在文生图界面下方找到 Add network: Lora 下拉框；

3、选择刚加入的模型，设置权重为 0.8–1.2（过高易过拟合，过低特征弱）；

4、Prompt 中必须包含训练时统一添加的触发词，例如 1girl, red_dress, masterpiece；

5、生成图像后比对五官结构、服饰纹理、姿态一致性，若关键特征缺失，需返回调整标签或重训。

以上就是Stable Diffusion怎么训练LoRA SD模型LoRA炼丹详细全流程【教程】的详细内容，更多请关注php中文网其它相关文章！