【AI Studio使用技巧】手把手教你将Notebook转脚本任务

一、脚本任务单卡仿真

在转脚本任务时，先不要着急往脚本任务里加多卡运行的代码。一定要先保证代码能在单卡的基础上稳定运行后，再加上多卡的训练代码。

这里可以参考开发者北漂包包的脚本任务仿真环境快速测试你的代码。

在确认代码正确无误后，就可以正式地将你的代码从Notebook迁移到脚本任务上了

二、依赖库的安装

在脚本任务中，官方已经在环境里预装了很多依赖库（已安装的依赖库可查看官方文档），但是难免会遇到一些我们需要，但是环境里没有的依赖库，这是我们就需要在代码运行前把这些依赖库安装好。

安装方法也很简单，我们可以用Python自带的os.system调用shell命令：

三、数据集准备

脚本任务中加载的数据集往往是未解压的压缩包，因此在使用之前一般都需要先解压。这时我们也可以用上面的os.system来处理，把文件解压到指定的目录下，需要用到-d参数：

os.system("unzip -d /root/paddlejob/workspace/train_data/datasets/ /root/paddlejob/workspace/train_data/datasets/data2021/dataset.zip")

上面这句指令的意思是将dataset.zip这个未解压的数据集解压到脚本文件的数据集文件目录/root/paddlejob/workspace/train_data/datasets/

Morph Studio

Morph Studio是一款领先的文字转视频AI平台，可以将用户输入的文字转化为精美视频。

51

查看详情

四、多卡代码改写

AI Studio的脚本任务支持了单机四卡和分布式训练（双机四卡），两者消耗的算力是一样的，都是四卡，执行速度应该不会相差太多，因此这里主要以单机四卡为例进行改写。

1.数据并行

相关api文档：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/io/DistributedBatchSampler_cn.html#distributedbatchsampler

多卡并行任务需要将数据分到各个卡上，因此需要改写DataLoader，使用分布式批采样器加载数据的子集，比如4卡就是把数据分为4个子集，然后把这4个子集分别送入这个4块卡，从而提高“炼丹”速度，首先导入分布式批采样器：

from paddle.io import DistributedBatchSampler

然后在加载DataLoader之前先用DistributedBatchSampler将数据集划分为多个子集，具体使用方法可参考如下代码：

2.模型参数并行

相关api：

• DataParallel：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/DataParallel_cn.html#dataparallel
• init_parallel_env：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/init_parallel_env_cn.html#init-parallel-env
• spawn：https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/02_paddle2.0_develop/06_device_cn.html#spawn

这部分其实很好改，只需要添加4行代码：

3.模型参数保存

相关api：get_rank：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/get_rank_cn.html#get-rank

在保存模型参数时，为了不重复保存，这里设置只有当前进程rank的值等于环境变量PADDLE_TRAINER_ID的值时保存模型参数：

model_to_save = model.state_dict()
model_checkpoint = os.path.join(output_dir, "%s_checkpoint.pdparams" %model_name)if paddle.distributed.get_rank() == 0:
    paddle.save(model_to_save, model_checkpoint)