本文为百度论文复现赛第四期相关论文的复现代码介绍。依赖paddlepaddle-gpu2.1.2、python3.7，在coco2014数据集训练，给出复现精度。介绍了模型背景、结构、数据集，还说明了运行、安装依赖、训练及评估的步骤，提及代码解释相关内容。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
本项目为百度论文复现赛第四期《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》论文复现代码。
依赖环境：
代码在coco2014数据集上训练，复现精度：
| Bleu_1 | Bleu_2 | Bleu_3 | Bleu_4 | METEOR | ROUGE_L | CIDEr |
|---|---|---|---|---|---|---|
| 0.721 | 0.547 | 0.405 | 0.300 | 0.242 | 0.525 | 0.924 |
参考论文：《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》论文链接
近年来，人们提出了几种生成图像描述生成方法。这些方法中许多都是基于递归神经网络，并受到了成功使用序列与神经网络进行机器翻译训练的启发。图像描述生成非常适合机器翻译的编码器-解码器框架，一个主要原因是它类似于将图像翻译成句子。
受机器翻译和目标检测工作的启发，论文首次提出在图像描述模型中引入注意力机制，大幅度提高了模型的性能，并可视化展示了注意力机制如何学习将目光固定在图像的显著目标上，整体框架如下。
第一步：输入Image到模型中。
第二步：经过CNN进行卷积提取Image特征信息最终形成Image的特征图信息。
第三步：attention对提取的特征图进行加权求和，作为后续进入LSTM模型的输入数据，不同时刻的attention数据会受到上一时刻状态输出数据的影响。
第四步：LSTM模型最终输出caption。
模型结构： 
参考项目地址链接
复现论文代码github地址链接
coco2014 image captions 论文，采用“Karpathy” data split 论文
数据集总大小：123287张
训练集：113287张
验证集：5000张
测试集：5000张
标签文件：dataset_coco.json
预训练数据包括: 通过vgg19提取的coco2014图像网格特征、cocotalk.json、cocotalk_label.h5
通过命令 !python3 scripts/prepro_feats.py 和 !python3 scripts/prepro_labels.py 获得
%cd /home/aistudio/work/data/ !unzip -oq /home/aistudio/data/data106948/coco_data_vgg.zip
/home/aistudio/work/data
%cd /home/aistudio/work/ !unzip -oq /home/aistudio/data/data107076/coco-caption.zip
/home/aistudio/work
%cd /home/aistudio/work/ !pip install -r requirements.txt
训练的日志和模型会放到work/log/目录下
!python3 train.py
我已经将训练好的model_best.pdparams文件放在了work/log目录下
加载work/log目录下保存的训练模型数据进行验证
%cd /home/aistudio/work/ !unzip -oq /home/aistudio/data/data107076/log.zip
!python3 eval.py
以上就是【飞桨论文复现赛-图像描述生成】Soft-Attention的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
113
收藏
