2024年最新版PaddleOCR新手指导（训练自己的数据集与知识蒸馏）

!ls /home/aistudio/data

!mkdir /home/aistudio/external-libraries
!pip install beautifulsoup4 -t /home/aistudio/external-libraries

%cd ~

!git clone https://github.com/PaddlePaddle/PaddleOCR.git

%cd ~/PaddleOCR

# 安装依赖库!pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple

!mkdir inference && cd inference# 下载8.6M中文模型的检测模型并解压# ! cd inference && wget https://paddleocr.bj.bcebos.com/ch_models/ch_det_mv3_db_infer.tar && tar xf ch_det_mv3_db_infer.tar# # 下载8.6M中文模型的识别模型并解压# ! cd inference && wget https://paddleocr.bj.bcebos.com/ch_models/ch_rec_mv3_crnn_infer.tar && tar xf ch_rec_mv3_crnn_infer.tar!cd inference && wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tar && tar xf ch_PP-OCRv3_det_infer.tar
!cd inference && wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_infer.tar && tar xf ch_PP-OCRv3_rec_infer.tar

import matplotlib.pyplot as pltfrom PIL import Image# 图像文件绝对路径img_path = "/home/aistudio/data/data294006/ppocr_img/imgs/11.jpg"# 打开图像文件img = Image.open(img_path)# 显示图像plt.figure("test_img", figsize=(10,10))
plt.imshow(img)
plt.show()

!pwd
!ls

# 快速运行!python3 tools/infer/predict_system.py --image_dir="/home/aistudio/data/data294006/ppocr_img/imgs/11.jpg" --det_model_dir="./inference/ch_PP-OCRv3_det_infer/"  --rec_model_dir="./inference/ch_PP-OCRv3_rec_infer/"

# 快速运行!python3 tools/infer/predict_system.py --image_dir="/home/aistudio/data/data294006/ppocr_img/imgs/" --det_model_dir="./inference/ch_PP-OCRv3_det_infer/"  --rec_model_dir="./inference/ch_PP-OCRv3_rec_infer/"

## 显示轻量级模型识别结果## 可视化的文本识别效果img_path= "/home/aistudio/data/data294006/ppocr_img/imgs/11.jpg"img = Image.open(img_path)
plt.figure("results_img", figsize=(5,5))
plt.imshow(img)
plt.show()

## 显示轻量级模型识别结果img_path= "./inference_results/11.jpg"img = Image.open(img_path)
plt.figure("results_img", figsize=(10,30))
plt.imshow(img)
plt.show()

%cd ~/PaddleOCR/# 根据backbone的不同选择下载对应的预训练模型# 下载MobileNetV3的预训练模型!wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/MobileNetV3_large_x0_5_pretrained.pdparams# 或，下载ResNet18_vd的预训练模型!wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet18_vd_pretrained.pdparams# 或，下载ResNet50_vd的预训练模型!wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/pretrained/ResNet50_vd_ssld_pretrained.pdparams

!rm -rf /home/aistudio/PaddleOCR/train_data
!ln -s /home/aistudio/data/data264561/train_data /home/aistudio/PaddleOCR/
%cd /home/aistudio/PaddleOCR/PPOCRLabel
!python3 gen_ocr_train_val_test.py --trainValTestRatio 6:2:2 --datasetRootPath ../train_data/drivingData/corrected_images

%cd /home/aistudio/PaddleOCR

!pip install visualdl

!python3 tools/train.py -c configs/det/ch_ppocr_v2.0/ch_det_res18_db_v2.0.yml

!visualdl --logdir "output/ch_db_res18/vdl"

!python tools/infer_det.py \
    -c configs/det/ch_ppocr_v2.0/ch_det_res18_db_v2.0.yml \
    -o Global.pretrained_model=/home/aistudio/PaddleOCR/output/ch_db_res18/latest.pdparams \
    Global.infer_img=/home/aistudio/data/data264561/train_data/det/test/5320_corrected.jpg

!python tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml

!python tools/infer_rec.py \
    -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml \
    -o Global.pretrained_model=/home/aistudio/PaddleOCR/output/rec_ppocr_v3/latest.pdparams \
    Global.infer_img=/home/aistudio/data/data264561/train_data/det/test/5325_corrected.jpg

!python tools/export_model.py \
    -c "./configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml" \
    -o Global.pretrained_model=/home/aistudio/PaddleOCR/output/rec_ppocr_v3/latest.pdparams \
    Global.save_inference_dir="./inference_model/rec/"

!python tools/export_model.py \
    -c "./configs/det/ch_ppocr_v2.0/ch_det_res18_db_v2.0.yml" \
    -o Global.pretrained_model=/home/aistudio/PaddleOCR/output/ch_db_res18/latest.pdparams \
    Global.save_inference_dir="./inference_model/det/"

!python tools/infer/predict_system.py \
    --image_dir=/home/aistudio/data/data264561/train_data/det/test/5320_corrected.jpg \
    --det_model_dir="./inference_model/det/" \
    --rec_model_dir="./inference_model/rec"

Architecture:
  model_type: &model_type "rec"    # 模型类别，rec、det等，每个子网络的模型类别
  name: DistillationModel          # 结构名称，蒸馏任务中，为DistillationModel，用于构建对应的结构
  algorithm: Distillation          # 算法名称
  Models:                          # 模型，包含子网络的配置信息
    Teacher:                       # 子网络名称，至少需要包含`pretrained`与`freeze_params`信息，其他的参数为子网络的构造参数
      pretrained:                  # 该子网络是否需要加载预训练模型
      freeze_params: false         # 是否需要固定参数
      return_all_feats: true       # 子网络的参数，表示是否需要返回所有的features，如果为False，则只返回最后的输出
      model_type: *model_type      # 模型类别
      algorithm: SVTR              # 子网络的算法名称，该子网络其余参数均为构造参数，与普通的模型训练配置一致
      Transform:
      Backbone:
        name: MobileNetV1Enhance
        scale: 0.5
        last_conv_stride: [1, 2]        last_pool_type: avg
      Head:
        name: MultiHead
        head_list:
          - CTCHead:
              Neck:
                name: svtr
                dims: 64
                depth: 2
                hidden_dims: 120
                use_guide: True
              Head:
                fc_decay: 0.00001
          - SARHead:
              enc_dim: 512
              max_text_length: *max_text_length
    Student:
      pretrained:
      freeze_params: false
      return_all_feats: true
      model_type: *model_type
      algorithm: SVTR
      Transform:
      Backbone:
        name: MobileNetV1Enhance
        scale: 0.5
        last_conv_stride: [1, 2]        last_pool_type: avg
      Head:
        name: MultiHead
        head_list:
          - CTCHead:
              Neck:
                name: svtr
                dims: 64
                depth: 2
                hidden_dims: 120
                use_guide: True
              Head:
                fc_decay: 0.00001
          - SARHead:
              enc_dim: 512
              max_text_length: *max_text_length

{  "Teacher": {    "backbone_out": tensor,    "neck_out": tensor,    "head_out": tensor,
  },  "Student": {    "backbone_out": tensor,    "neck_out": tensor,    "head_out": tensor,
  }
}

Loss:  name: CombinedLoss  loss_config_list:
  - DistillationDMLLoss:                       # 蒸馏的DML损失函数，继承自标准的DMLLoss      weight: 1.0                              # 权重      act: "softmax"                           # 激活函数，对输入使用激活函数处理，可以为softmax, sigmoid或者为None，默认为None      use_log: true                            # 对输入计算log，如果函数已经      model_name_pairs:                        # 用于计算DML loss的子网络名称对，如果希望计算其他子网络的DML loss，可以在列表下面继续填充
      - ["Student", "Teacher"]      key: head_out                            # 取子网络输出dict中，该key对应的tensor      multi_head: True                         # 是否为多头结构      dis_head: ctc                            # 指定用于计算损失函数的head      name: dml_ctc                            # 蒸馏loss的前缀名称，避免不同loss之间的命名冲突
  - DistillationDMLLoss:                       # 蒸馏的DML损失函数，继承自标准的DMLLoss      weight: 0.5                              # 权重      act: "softmax"                           # 激活函数，对输入使用激活函数处理，可以为softmax, sigmoid或者为None，默认为None      use_log: true                            # 对输入计算log，如果函数已经      model_name_pairs:                        # 用于计算DML loss的子网络名称对，如果希望计算其他子网络的DML loss，可以在列表下面继续填充
      - ["Student", "Teacher"]      key: head_out                            # 取子网络输出dict中，该key对应的tensor      multi_head: True                         # 是否为多头结构      dis_head: sar                            # 指定用于计算损失函数的head      name: dml_sar                            # 蒸馏loss的前缀名称，避免不同loss之间的命名冲突
  - DistillationDistanceLoss:                  # 蒸馏的距离损失函数      weight: 1.0                              # 权重      mode: "l2"                               # 距离计算方法，目前支持l1, l2, smooth_l1      model_name_pairs:                        # 用于计算distance loss的子网络名称对
      - ["Student", "Teacher"]      key: backbone_out                        # 取子网络输出dict中，该key对应的tensor
  - DistillationCTCLoss:                       # 基于蒸馏的CTC损失函数，继承自标准的CTC loss      weight: 1.0                              # 损失函数的权重，loss_config_list中，每个损失函数的配置都必须包含该字段      model_name_list: ["Student", "Teacher"]  # 对于蒸馏模型的预测结果，提取这两个子网络的输出，与gt计算CTC loss      key: head_out                            # 取子网络输出dict中，该key对应的tensor
  - DistillationSARLoss:                       # 基于蒸馏的SAR损失函数，继承自标准的SARLoss      weight: 1.0                              # 损失函数的权重，loss_config_list中，每个损失函数的配置都必须包含该字段      model_name_list: ["Student", "Teacher"]  # 对于蒸馏模型的预测结果，提取这两个子网络的输出，与gt计算CTC loss      key: head_out                            # 取子网络输出dict中，该key对应的tensor      multi_head: True                         # 是否为多头结构，为true时，取出其中的SAR分支计算损失函数

PostProcess:  name: DistillationCTCLabelDecode       # 蒸馏任务的CTC解码后处理，继承自标准的CTCLabelDecode类  model_name: ["Student", "Teacher"]     # 对于蒸馏模型的预测结果，提取这两个子网络的输出，进行解码  key: head_out                          # 取子网络输出dict中，该key对应的tensor  multi_head: True                       # 多头结构时，会取出其中的CTC分支进行计算

Metric:
  name: DistillationMetric         # 蒸馏任务的CTC解码后处理，继承自标准的CTCLabelDecode类
  base_metric_name: RecMetric      # 指标计算的基类，对于模型的输出，会基于该类，计算指标
  main_indicator: acc              # 指标的名称
  key: "Student"                   # 选取该子网络的 main_indicator 作为作为保存保存best model的判断标准
  ignore_space: False              # 评估时是否忽略空格的影响

!python tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml

import paddle# 加载预训练模型all_params = paddle.load("output/rec_ppocr_v3_distillation/best_accuracy.pdparams")# 查看权重参数的keysprint(all_params.keys())# 学生模型的权重提取s_params = {key[len("Student."):]: all_params[key] for key in all_params if "Student." in key}# 查看学生模型权重参数的keysprint(s_params.keys())# 保存paddle.save(s_params, "output/rec_ppocr_v3_distillation/student.pdparams")

Architecture:
  name: DistillationModel          # 结构名称，蒸馏任务中，为DistillationModel，用于构建对应的结构
  algorithm: Distillation          # 算法名称
  Models:                          # 模型，包含子网络的配置信息
    Student:                       # 子网络名称，至少需要包含`pretrained`与`freeze_params`信息，其他的参数为子网络的构造参数
      freeze_params: false         # 是否需要固定参数
      return_all_feats: false      # 子网络的参数，表示是否需要返回所有的features，如果为False，则只返回最后的输出
      model_type: det
      algorithm: DB
      Backbone:
        name: ResNet
        in_channels: 3
        layers: 50
      Neck:
        name: LKPAN
        out_channels: 256
      Head:
        name: DBHead
        kernel_list: [7,2,2]        k: 50
    Teacher:                      # 另外一个子网络，这里给的是DML蒸馏示例，
      freeze_params: true  
      return_all_feats: false
      model_type: det
      algorithm: DB
      Transform:
      Backbone:
        name: ResNet
        in_channels: 3
        layers: 50
      Neck:
        name: LKPAN
        out_channels: 256
      Head:
        name: DBHead
        kernel_list: [7,2,2]        k: 50

{  "Teacher": {    "backbone_out": tensor,    "neck_out": tensor,    "head_out": tensor,
  },  "Student": {    "backbone_out": tensor,    "neck_out": tensor,    "head_out": tensor,
  }
}

Loss:  name: CombinedLoss  loss_config_list:
  - DistillationDilaDBLoss:      weight: 1.0      model_name_pairs:
      - ["Student", "Teacher"]
      - ["Student2", "Teacher"]                  # 改动1，计算两个Student和Teacher的损失      key: maps      balance_loss: true      main_loss_type: DiceLoss      alpha: 5      beta: 10      ohem_ratio: 3
  - DistillationDMLLoss:                         # 改动2，增加计算两个Student之间的损失      model_name_pairs:
      - ["Student", "Student2"]      maps_name: "thrink_maps"      weight: 1.0
      # act: None      key: maps
  - DistillationDBLoss:      weight: 1.0      model_name_list: ["Student", "Student2"]   # 改动3，计算两个Student和GT之间的损失      balance_loss: true      main_loss_type: DiceLoss      alpha: 5      beta: 10      ohem_ratio: 3

PostProcess:  name: DistillationDBPostProcess                  # DB检测蒸馏任务的CTC解码后处理，继承自标准的DBPostProcess类  model_name: ["Student", "Student2", "Teacher"]   # 对于蒸馏模型的预测结果，提取多个子网络的输出，进行解码，不需要后处理的网络可以不在model_name中设置  thresh: 0.3  box_thresh: 0.6  max_candidates: 1000  unclip_ratio: 1.5

Metric:  name: DistillationMetric  base_metric_name: DetMetric  main_indicator: hmean  key: "Student"

!python tools/train.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml

!python tools/train.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_dml.yml

import paddle# 加载预训练模型all_params = paddle.load("output/ch_db_mv3/latest.pdparams")# 查看权重参数的keysprint(all_params.keys())# 学生模型的权重提取s_params = {key[len("Student."):]: all_params[key] for key in all_params if "Student." in key}# 查看学生模型权重参数的keysprint(s_params.keys())# 保存paddle.save(s_params, "output/ch_db_mv3/student.pdparams")