『行远见大』炼丹注意事项——以蝴蝶图像分类为例

!ls /home/aistudio/data/data66509/Butterfly20.zip!ls /home/aistudio/data/data66509/Butterfly20_test.zip!unzip -q /home/aistudio/data/data66509/Butterfly20_test.zip -d work
!unzip -q /home/aistudio/data/data66509/Butterfly20.zip -d work

# 以下代码用于建立样本数据读取路径与样本标签之间的关系import osimport randomimport matplotlib.pyplot as pltimport PIL.Image as Image

data_list = [] # 用个列表保存每个样本的读取路径、标签# 由于属种名称本身是字符串，而输入模型的是数字。需要构造一个字典，把某个数字代表该属种名称。键是属种名称，值是整数。label_list=[]with open("/home/aistudio/work/species.txt") as f:    for line in f:
        a,b = line.strip("\n").split(" ")
        label_list.append([b, int(a)-1])
label_dic = dict(label_list)# 获取Butterfly20目录下的所有子目录名称，保存进一个列表之中class_list = os.listdir("/home/aistudio/work/Butterfly20")
class_list.remove('.DS_Store') # 删掉列表中名为.DS_Store的元素，因为.DS_Store并没有样本。for each in class_list:    for f in os.listdir("/home/aistudio/work/Butterfly20/"+each):
        data_list.append(["/home/aistudio/work/Butterfly20/"+each+'/'+f,label_dic[each]])# 按文件顺序读取，可能造成很多属种图片存在序列相关，用random.shuffle方法把样本顺序彻底打乱。random.shuffle(data_list)# 打印前十个，可以看出data_list列表中的每个元素是[样本读取路径, 样本标签]。print(data_list[0:10])# 打印样本数量，一共有1866个样本。print("样本数量是：{}".format(len(data_list)))

# 以下代码用于构造读取器与数据预处理# 首先需要导入相关的模块import paddlefrom paddle.vision.transforms import Compose, ColorJitter, Resize,Transpose, Normalizeimport cv2import numpy as npfrom PIL import Imagefrom paddle.io import Dataset# 使用Paddle2.0自带的数据增强方法import paddle.vision.transforms as T# 自定义的数据预处理函数，输入原始图像，输出处理后的图像，可以借用paddle.vision.transforms的数据处理功能def preprocess(img):
    transform = Compose([
        Resize(size=(224, 224)),                                                             # 把数据长宽像素调成224*224
        T.ColorJitter(0.125,0.4,0.4,0.08),                                                   # 保持亮度、对比度、饱和度、色调等在测试集上一致
        # T.BrightnessTransform(0.4),                                                        # 只对亮度调整做调整
        T.RandomHorizontalFlip(0.5),                                                         # 水平翻转
        T.RandomRotation(15),                                                                # 随机反转角度范围
        T.RandomVerticalFlip(0.5),                                                           # 垂直翻转
        T.RandomRotation(15),                                                                # 随机反转角度范围
        Normalize(mean=[127.5, 127.5, 127.5], std=[127.5, 127.5, 127.5], data_format='HWC'), # 标准化
        Transpose()                                                                          # 原始数据形状维度是HWC格式，经过Transpose，转换为CHW格式
        ])      
    img = transform(img).astype("float32")    return img# 自定义数据读取器class Reader(Dataset):
    def __init__(self, data, is_val=False):
        super().__init__()        # 在初始化阶段，把数据集划分训练集和测试集。由于在读取前样本已经被打乱顺序，取20%的样本作为测试集，80%的样本作为训练集。
        self.samples = data[-int(len(data)*0.2):] if is_val else data[:-int(len(data)*0.2)]    def __getitem__(self, idx):
        # 处理图像
        img_path = self.samples[idx][0]          # 得到某样本的路径
        img = Image.open(img_path)        if img.mode != 'RGB':
            img = img.convert('RGB')
        img = preprocess(img)                    # 数据预处理--这里仅包括简单数据预处理，没有用到数据增强

        # 处理标签
        label = self.samples[idx][1]             # 得到某样本的标签
        label = np.array([label], dtype="int64") # 把标签数据类型转成int64
        return img, label    def __len__(self):
        # 返回每个Epoch中图片数量
        return len(self.samples)# 生成训练数据集实例train_dataset = Reader(data_list, is_val=False)# 生成测试数据集实例eval_dataset = Reader(data_list, is_val=True)# 打印一个训练样本# print(train_dataset[1136][0])print(train_dataset[1136][0].shape)print(train_dataset[1136][1])# 查看划分后的样本量print('训练集样本量: {}，验证集样本量: {}'.format(len(train_dataset), len(eval_dataset)))

# 定义模型class MyNet(paddle.nn.Layer):
    def __init__(self):
        super(MyNet,self).__init__()        # self.layer=paddle.vision.models.resnet50(pretrained=True)     # 陆平老师上课选择的模型
        # self.layer=paddle.vision.models.resnet152(pretrained=True)    # 讲义中推荐的模型
        self.layer=paddle.vision.models.resnet152(pretrained=True)      # 耗时长但精度相对而言高的模型
        self.dropout=paddle.nn.Dropout(p=0.5)
        self.fc = paddle.nn.Linear(1000, 20)    # 网络的前向计算过程
    def forward(self,x):
        x=self.layer(x)
        x=self.dropout(x)
        x=self.fc(x)        return xprint("本项目基于Paddle的版本号为："+ paddle.__version__)

# 定义输入input_define = paddle.static.InputSpec(shape=[-1,3,224,224], dtype="float32", name="img")
label_define = paddle.static.InputSpec(shape=[-1,1], dtype="int64", name="label")# 实例化网络对象并定义优化器等训练逻辑model = MyNet()
model = paddle.Model(model,inputs=input_define,labels=label_define)                      # 用Paddle.Model()对模型进行封装optimizer = paddle.optimizer.Adam(learning_rate=0.00005, parameters=model.parameters())# 上述优化器中的学习率(learning_rate)参数很重要。要是训练过程中得到的准确率呈震荡状态，忽大忽小，可以试试进一步把学习率调低

# 使用Adam优化器, 学习率为0.00005, 使用交叉熵损失函数, top1与top5精准度配置Accuracy的评估指标model.prepare(optimizer=optimizer,                           # 指定优化器
              loss=paddle.nn.CrossEntropyLoss(),             # 指定损失函数
              metrics=paddle.metric.Accuracy(topk=(1,5)))    # 指定评估方法# 回调函数使用callback = paddle.callbacks.VisualDL(log_dir='./log_mynet_152')

model.fit(train_data=train_dataset,         # 训练数据集
          eval_data=eval_dataset,           # 测试数据集
          batch_size=128,                   # 一个批次的样本数量（常见的有32、64、128、256）
          epochs=50,                        # 迭代轮次（常见的有20、50、100、200）
          save_dir="/home/aistudio/lup",    # 把模型参数、优化器参数保存至自定义的文件夹
          save_freq=20,                     # 设定每隔多少个epoch保存模型参数及优化器参数
          log_freq=100,                     # 打印日志的频率
          verbose=1,                        # 日志展示模式
          shuffle=True,                     # 是否打乱数据集顺序
          callbacks=callback)               # 回调函数使用# 如果运行报错，请退出草稿版，项目栏处切换version1.0版本再运行！

class InferDataset(Dataset):
    def __init__(self, img_path=None):
        """
        数据读取Reader(推理)
        :param img_path: 推理单张图片
        """
        super().__init__()        if img_path:
            self.img_paths = [img_path]        else:            raise Exception("请指定需要预测对应图片路径")    def __getitem__(self, index):
        # 获取图像路径
        img_path = self.img_paths[index]        # 使用Pillow来读取图像数据并转成Numpy格式
        img = Image.open(img_path)        if img.mode != 'RGB': 
            img = img.convert('RGB') 
        img = preprocess(img) #数据预处理--这里仅包括简单数据预处理，没有用到数据增强
        return img    def __len__(self):
        return len(self.img_paths)# 实例化推理模型model = paddle.Model(MyNet(),inputs=input_define)# 读取刚刚训练好的参数model.load('/home/aistudio/lup/final')# 准备模型model.prepare()# 得到待预测数据集中每个图像的读取路径infer_list=[]with open("/home/aistudio/work/testpath.txt") as file_pred:    for line in file_pred:
        infer_list.append("/home/aistudio/work/"+line.strip())# 模型预测结果通常是个数，需要获得其对应的文字标签。这里需要建立一个字典。def get_label_dict2():
    label_list2=[]    with open("/home/aistudio/work/species.txt") as filess:        for line in filess:
            a,b = line.strip("\n").split(" ")
            label_list2.append([int(a)-1, b])
    label_dic2 = dict(label_list2)    return label_dic2

label_dict2 = get_label_dict2()# print(label_dict2)# 利用训练好的模型进行预测results=[]for infer_path in infer_list:
    infer_data = InferDataset(infer_path)
    result = model.predict(test_data=infer_data)[0]  # 关键代码，实现预测功能
    result = paddle.to_tensor(result)
    result = np.argmax(result.numpy())               # 获得最大值所在的序号
    results.append("{}".format(label_dict2[result])) # 查找该序号所对应的标签名字# 把结果保存起来with open("work/result.txt", "w") as f:    for r in results:
        f.write("{}\n".format(r))