论文推荐：EfficientNetV2 - 通过NAS、Scaling和Fused-MBConv获得更小的模型和更快的训练

efficientnetv2 是由 google research 的 brain team 在 2021 年 icml 会议上发布的一篇论文。该论文通过神经架构搜索（nas）和缩放技术，优化了训练速度和参数效率。模型中引入的新操作，如 fused-mbconv，进一步提升了搜索空间的效率。efficientnetv2 模型的训练速度比 efficientnetv1 快得多，同时模型大小缩小了 6.8 倍。

论文大纲如下：

1. 理解和提高 EfficientNetV1 的训练效率
   • 使用非常大的图像尺寸进行训练会导致训练速度变慢。
   • FixRes 技术通过使用较小的图像尺寸进行训练，可以将训练速度提高多达 2.2 倍，同时提高准确度。
   • Depth-wise 卷积在模型早期层执行缓慢，但在后期层效率较高。
   • Fused-MBConv 操作通过将 MBConv 中的 depthwise conv3×3 和扩展 conv1×1 替换为单个常规 conv3×3，提高了训练速度。

• 在每个阶段同样扩大规模并不是最优的。EfficientNetV2 使用非均匀缩放策略，向模型后期逐渐添加更多层，并限制最大图像尺寸以减少内存消耗和加快训练速度。

2. NAS 和缩放
   • NAS 搜索空间类似于 PNASNet，通过 NAS 进行卷积运算类型的设计选择，包括层数、内核大小、扩展比等。
   • 通过减少图像尺寸和优化搜索空间，EfficientNetV2 实现了更快的训练速度和更高的准确度。

• EfficientNetV2 在早期层中广泛使用了 MBConv 和 Fused-MBConv，并更倾向于使用较小的扩展比和内核大小。
• 缩放策略中，EfficientNetV2-S 通过复合缩放比例放大得到 EfficientNetV2-M/L，并限制最大推理图像大小为 480。

3. Progressive Learning
   • 通过从小图像尺寸和弱正则化开始，逐渐增加学习难度，提高了模型的表现。

4. SOTA 比较
   • 在 ImageNet 上，EfficientNetV2 模型比之前的 ConvNets 和 Transformer 模型速度更快，精度和参数效率更高。
   • 在迁移学习测试中，EfficientNetV2 模型在多个数据集上表现优于之前的模型。

可图大模型

可图大模型（Kolors）是快手大模型团队自研打造的文生图AI大模型

32

查看详情

5. 消融研究
   • 在相同学习设置下，EfficientNetV2 模型的性能优于 EfficientNets。
   • 通过模型缩放和 Progressive Learning，EfficientNetV2 模型在训练速度和准确性上表现出色。
   • 自适应正则化在早期训练阶段使用较小的正则化，帮助模型更快收敛并获得更好的最终精度。

引用[2021 ICML] [EfficientNetV2]EfficientNetV2: Smaller Models and Faster Training

https://www.php.cn/link/9dc69f4a9d78d28dc1ba5697a159c546

以上就是论文推荐：EfficientNetV2 - 通过NAS、Scaling和Fused-MBConv获得更小的模型和更快的训练的详细内容，更多请关注php中文网其它相关文章！