【药智甄选】PaddlePaddle3.0助力实现ResNet50中药分拣

!unzip data/data298711/images.zip -d work/images

import paddlefrom paddle.io import Datasetimport matplotlib.pyplot as pltimport PIL.Image as Image
path='/home/aistudio/work/images/ph_bj/IMG_1762.JPG'img = Image.open(path)
plt.imshow(img)          #根据数组绘制图像plt.show()               #显示图像print(img.size)

#以下代码用于建立样本数据读取路径与样本标签之间的关系import osimport random

data_list = [] #用个列表保存每个样本的读取路径、标签#获取work目录下的所有子目录名称，保存进一个列表之中class_list = os.listdir("/home/aistudio/work/images")
class_label_list=['ph_bj','ph_sp','ph_sz','ph_tg','sz_bj','sz_sp','sz_sz','sz_tg','wblx_bj','wblx_sp','wblx_sz','wblx_tg']for each in class_list:    for f in os.listdir("/home/aistudio/work/images/"+each):
        label=each
        label_index=class_label_list.index(label)        # print(label,label_index)
        data_list.append(["/home/aistudio/work/images/"+each+'/'+f,label_index])#按文件顺序读取，可能造成很多属种图片存在序列相关，用random.shuffle方法把样本顺序彻底打乱。random.shuffle(data_list)#打印前十个，可以看出data_list列表中的每个元素是[样本读取路径, 样本标签]。print(data_list[0:10])#打印样本数量，一共有2340个样本。print("样本数量是：{}".format(len(data_list)))

import matplotlib.pyplot as plt# 计算每个标签的样本数量label_counts = {}for _, label_index in data_list:    if label_index in label_counts:
        label_counts[label_index] += 1
    else:
        label_counts[label_index] = 1# 将标签索引转换回标签名称label_names = class_label_list
label_counts = {label_names[key]: value for key, value in label_counts.items()}# 创建条形图plt.figure(figsize=(10, 8))
plt.bar(label_counts.keys(), label_counts.values(), tick_label=label_counts.keys())
plt.xlabel('Label')
plt.ylabel('Count')
plt.title('Dataset Distribution')
plt.xticks(rotation=45)
plt.show()

#以下代码用于构造读取器与数据预处理#首先需要导入相关的模块import paddlefrom paddle.vision.transforms import Compose, ColorJitter, Resize,Transpose, Normalizeimport cv2import numpy as npfrom PIL import Imagefrom paddle.io import Dataset# 自定义的数据预处理函数，输入原始图像，输出处理后的图像，可以借用paddle.vision.transforms的数据处理功能def preprocess(img):
    transform = Compose([
        Resize(size=(224, 224)), # 把数据长宽像素调成224*224
        Normalize(mean=[127.5, 127.5, 127.5], std=[127.5, 127.5, 127.5], data_format='HWC'), # 标准化
        Transpose(), # 原始数据形状维度是HWC格式，经过Transpose，转换为CHW格式
        ])
    img = transform(img).astype("float32")    return img# 自定义数据读取器class Reader(Dataset):
    def __init__(self, data, is_val=False):
        super().__init__()        # 在初始化阶段，把数据集划分训练集和测试集。
        # 由于在读取前样本已经被打乱顺序，取20%的样本作为测试集，80%的样本作为训练集。
        self.samples = data[-int(len(data)*0.2):] if is_val else data[:-int(len(data)*0.2)]    def __getitem__(self, idx):
        #处理图像
        img_path = self.samples[idx][0] #得到某样本的路径
        img = Image.open(img_path)        if img.mode != 'RGB':
            img = img.convert('RGB')
        img = preprocess(img) #数据预处理--这里仅包括简单数据预处理，没有用到数据增强

        #处理标签
        label = self.samples[idx][1] #得到某样本的标签
        label = np.array([label],dtype='int64') #把标签数据类型转成int64
        return img, label    def __len__(self):
        #返回每个Epoch中图片数量
        return len(self.samples)#生成训练数据集实例train_dataset = Reader(data_list, is_val=False)#生成测试数据集实例eval_dataset = Reader(data_list, is_val=True)#打印一个训练样本print(len(train_dataset)) # 1872#打印一个测试样本print(len(eval_dataset)) # 234print(train_dataset[1136][0].shape)print(train_dataset[1136][1])print(type(train_dataset[1136][1]))

#定义模型class MyNet(paddle.nn.Layer):
    def __init__(self):
        super(MyNet,self).__init__()
        self.layer=paddle.vision.models.resnet50(pretrained=True)
        self.fc = paddle.nn.Linear(1000, 12)    #网络的前向计算过程
    def forward(self,x):
        x=self.layer(x)
        x=self.fc(x)        return x

step 77/77 - loss: 0.7499 - acc: 0.9440 - 759ms/step
Eval begin...
step 20/20 - loss: 3.6955e-06 - acc: 0.9737 - 712ms/step
Eval samples: 1219
Epoch 15/15

# 定义输入input_define = paddle.static.InputSpec(shape=[-1,3,224,224], dtype="float32", name="img")
label_define = paddle.static.InputSpec(shape=[-1,1], dtype="int64",name="label")# 实例化网络对象并定义优化器等训练逻辑model = MyNet()
model = paddle.Model(model,inputs=input_define,labels=label_define) # 用Paddle.Model()对模型进行封装optimizer = paddle.optimizer.Adam(learning_rate=0.001, parameters=model.parameters())# 上述优化器中的学习率(learning_rate)参数很重要。要是训练过程中得到的准确率呈震荡状态，忽大忽小，可以试试进一步把学习率调低。place = paddle.CUDAPlace(0)  # 使用第一个GPU设备model.prepare(optimizer=optimizer, # 指定优化器
              loss=paddle.nn.CrossEntropyLoss(), # 指定损失函数
              metrics=paddle.metric.Accuracy()) # 指定评估方法model.fit(train_data=train_dataset,     # 训练数据集
          eval_data=eval_dataset,         # 测试数据集
          batch_size=64,                  # 一个批次的样本数量
          epochs=15,                      # 迭代轮次
          save_dir="/home/aistudio/model/", # 把模型参数、优化器参数保存至自定义的文件夹
          save_freq=2,                    # 设定每隔多少个epoch保存模型参数及优化器参数
          log_freq=100,                    # 打印日志的频率)

class InferDataset(Dataset):
    def __init__(self, img_path=None):
        """
        数据读取Reader(推理)
        :param img_path: 推理单张图片
        """
        super().__init__()        if img_path:
            self.img_paths = [img_path]        else:            raise Exception("请指定需要预测对应图片路径")    def __getitem__(self, index):
        # 获取图像路径
        img_path = self.img_paths[index]        # 使用Pillow来读取图像数据并转成Numpy格式
        img = Image.open(img_path)        if img.mode != 'RGB': 
            img = img.convert('RGB') 
        img = preprocess(img) #数据预处理--这里仅包括简单数据预处理，没有用到数据增强
        return img    def __len__(self):
        return len(self.img_paths)

import matplotlib.pyplot as pltfrom PIL import Image#实例化推理模型input_define = paddle.static.InputSpec(shape=[-1,3,224,224], dtype="float32", name="img")
model = paddle.Model(MyNet(),inputs=input_define)#读取刚刚训练好的参数model.load('/home/aistudio/model/final')#准备模型model.prepare()#利用训练好的模型进行预测infer_path='/home/aistudio/work/images/wblx_sp/IMG_20230220_103938_15.JPG'infer_data = InferDataset(infer_path)
result = model.predict(test_data=infer_data)[0] #关键代码，实现预测功能result = paddle.to_tensor(result)
result = np.argmax(result.numpy()) #获得最大值所在的序号class_label_list=['ph_bj','ph_sp','ph_sz','ph_tg','sz_bj','sz_sp','sz_sz','sz_tg','wblx_bj','wblx_sp','wblx_sz','wblx_tg']

label_description_dict = {    'ph_sp': '蒲黄-生品',    'ph_bj': '蒲黄-不及',    'ph_sz': '蒲黄-适中',    'ph_tg': '蒲黄-太过',    'sz_sp': '山楂-生品',    'sz_bj': '山楂-不及',    'sz_sz': '山楂-适中',    'sz_tg': '山楂-太过',    'wblx_sp': '王不留行-生品',    'wblx_bj': '王不留行-不及',    'wblx_sz': '王不留行-适中',    'wblx_tg': '王不留行-太过'}print('识别结果为:'+label_description_dict[class_label_list[result]])# 使用Pillow库读取图像img = Image.open(infer_path)# 显示图像plt.figure(figsize=(8, 6))
plt.imshow(img)
plt.axis('off')  # 不显示坐标轴plt.show()