【复现赛 NLP】基于 Paddle 实现 Canine 模型-人工智能-PHP中文网

世界上存在海量的语言与词汇，在处理多语言场景时，传统预训练模型采用的 Vocab 和 Tokenization 方案难免会遇到 Out of Vocabulary 和 Unkonw Token 的情况。 Canine 提供了 tokenization-free 的预训练模型方案，解决了 Out of Vocabulary 问题的同时，提高了模型在多语言任务下的能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

【复现赛 nlp】基于 paddle 实现 canine 模型 - php中文网

202562cb9ffec011fe3>

In [1]

# 在开始之前，请运行它来切换你的工作目录！import osprint(f"current dir at {os.getcwd()}")if os.getcwd() == '/home/aistudio':
    os.chdir("./work/canine_paddle")    print(f"changing working dir into {os.getcwd()}")

登录后复制

current dir at /home/aistudio
changing working dir into /home/aistudio/work/canine_paddle

登录后复制

Canine Paddle 复现

1. 简介

世界上存在海量的语言与词汇，在处理多语言场景时，传统预训练模型采用的 Vocab 和 Tokenization 方案难免会遇到 Out of Vocabulary 和 Unkonw Token 的情况。 Canine 提供了 tokenization-free 的预训练模型方案，解决了 Out of Vocabulary 问题的同时，提高了模型在多语言任务下的能力。

论文链接：CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation

Canine Paddle 复现仓库地址：kevinng77/canine_paddle

【备注】本仓库项目主要对复现操作做整理以及说明，关于更多的 Canine 复现经验和碎碎念分享，欢迎查看我的博客

2.数据集和复现精度

本次复现使用 tydiqa 数据集 tydiqa 官方repo，数据处理操作参考了 canine/tydiqa 官方。

TydiQA 为多语言阅读理解数据集。Tydi数据库中包含了 18万+篇 wiki 百科语料，20万+ 文章与问题对，共涉及 11 种不同的语言。

TydiQA 任务	TydiQA mBert 基线	Canine 论文精度	本仓库复现精度
Pas sage Selection Task (SELECTP)	63.2%	66.0%	65.92%
Minimal Answer Span Task (MINSPAN)	51.2%	52.8%	55.04%

指标为macro F1；本仓库展示的复现结果为多次微调、预测、评估后的平均值。

3. 环境准备

3.1 设备环境

框架：paddlepaddle==2.3.0
硬件：微调需要 GPU V100 显存 32G，内存 32GB；

【提示】本章中的 3.3 数据准备小节存在大量CPU计算，需要占用约3小时+，因此笔者建议想要复现的伙伴在 AiStudio CPU 环境下执行完 3.3 数据准备。而后再切换到 AiStudio GPU 环境下执行剩余部分。

In [ ]

# 复现 TydiQA 任务需要用到 h5py, absl-py 库，更新好 paddlenlp==2.3.1 后，你可能需要重新启动以下 notebook!pip install paddlenlp==2.3.1 h5py absl-py -q

登录后复制

3.2 模型准备

【提示】paddle权重已上传至 data/paddle_weight，使用 model.from_pretrained('data/paddle_weight') 时会自动加载。因此若想直接体验微调流程，可跳过 3.2 模型准备本章节，直接进入到 3.3 数据准备。若读者正在复现其他模型，那么这一节或许能够为你提供一些帮助。

【提示】为支持一键运行 notebook，该节中的代码将以 MARKDOWN 形式呈现。请需要运行此节的读者使用终端，并在 work/canine_paddle 目录下运行。

3.2.1 模型框架编写

编写模型的 modeling.py 以及 tokenizer.py 文件。通过阅读和观察 Canine论文及源码，会发现 Canine 模型框架与 Bert 类似，都采用了 Transformer Encoder 作为模型主体。不同的是 Canine：

在 Transformer Encoder 前后都采用了卷积层来对序列进行压缩和采样。
使用了 Hash Embedding 来减小模型的大小。
在 Embedding 和 Transformer Encoder 之间加入了 Local Attention Encoder，来对局部的字符信息进行学习。
使用 Unicode 进行编码，而非 WordPiece或BPE。

基于以上四点，模型搭建思路也就很明确了：先参考 paddlenlp/transformers/bert/modeling.py 文件进行修改，实现 Canine 框架的主体，而后分别添加 Hash_Embedding, Local_Attention_Encoder，Projection_Conv 来实现以上四个不同点。

编写后的模型放置于 paddlenlp/transformers/canine/modeling.py

3.2.2 预训练权重转换

权重转换需要：（只有3.2节会用到，微调时或者在 Aistudio GPU 环境下请勿安装）

pip install transformers==4.19.2 torch==1.11.0

登录后复制

首先下载 hugging face的canine torch 权重：

cd ./work/canine_paddle
wget -O data/huggingface_weight/model.bin https://huggingface.co/google/canine-s/resolve/main/pytorch_model.bin

登录后复制

根据 huggingface canine 和我们实现的 canine 框架构造权重映射，具体可查看 reproduction_utils 中的 weight_mapping.py 文件。该步骤生成 torch_paddle_layer_map.json 文件，该文件储存了 Canine 每个 torch Layer 权重对应的 paddle Layer 名称以及形状，方便查看与debug。
运行 convert_weight.py 转换权重：

python -m reproduction_utils.weight_convert_files.convert_weight \
  --pytorch_checkpoint_path=data/huggingface_weight/model.bin \
  --paddle_dump_path=data/paddle_weight/model_state.pdparams \
  --layer_mapping_file=reproduction_utils/weight_convert_files/torch_paddle_layer_map.json

登录后复制

3.2.3 前向传导核对精度

（执行该步需要安装torch与transformers）请在 CPU 环境下进行前项传导核对。

验证过程中，运行 torch canine 模型时会出现 Using unk_token, but it is not set yet. ，属于正常提示。经过多次随机样本验证，paddle模型与huggingface模型精度能保持在 $e^{- 5}$ e−5 至 $e^{- 7}$ e−7 级别。

python -m reproduction_utils.token_check
python -m reproduction_utils.forward_ppg_check --model_dir="./data/paddle_weight"

登录后复制

3.3 数据准备

3.3.1 下载Tydi数据集

【提示】 AiStudio 下载速度有时候会很慢，尝试在终止该单元格运行后重新执行看看。运气好下载速度可以达到 3M+/s :)

In [ ]

!wget -O data/tydi/tydiqa-v1.0-dev.jsonl.gz https://storage.googleapis.com/tydiqa/v1.0/tydiqa-v1.0-dev.jsonl.gz
!wget -O data/tydi/tydiqa-v1.0-train.jsonl.gz https://storage.googleapis.com/tydiqa/v1.0/tydiqa-v1.0-train.jsonl.gz

登录后复制

3.3.2 处理数据集

【提示】该步骤耗时约4小时，建议在 CPU 环境上运行，数据将保存在 work/canine_paddle/data 文件夹中，因此在切换 AiStudio 环境时不会丢失。详细的数据处理配置请在 tydi_canine 文件夹中查看。

方案一：直接下载并解压处理好的训练和测试数据。

链接：https://pan.baidu.com/s/1QVHh3cTztKAgAEEXUlqxWg?pwd=ia6i ；提取码：ia6i

下载后将两个 h5df 数据库放在 data/tydi 目录，如下：

./canine_paddle            # 仓库根目录|--data                    # 仓库数据目录|   ├── tydi               # tydi数据|        ├── dev.h5df      # 从tydiqa-v1.0-dev.jsonl.gz提取的测试数据  |        ├── train.h5df    # 从tydiqa-v1.0-train.jsonl.gz提取的训练数据

登录后复制

你可以考虑将文件保存到自己的百度云盘，而后使用 bypy 库下载到 Aistuio 上。

方案二：处理官方的原数据集

执行以下代码生成测试数据集 dev.h5df，用时约40分钟，生成数据大小2.5GB，包括35万+个样本。

In [3]

!python3 -m tydi_canine.prepare_tydi_data \
  --input_jsonl="**/tydiqa-v1.0-dev.jsonl.gz" \
  --output_dir=data/tydi/dev.h5df \
  --max_seq_length=2048 \
  --doc_stride=512 \
  --max_question_length=256 \
  --logging_steps=3000 \
  --is_training=false

登录后复制

I0624 16:35:16.286553 139650475759360 prepare_tydi_data.py:134] >>> input features will be store at data/tydi/dev.h5df
I0624 16:35:16.396667 139650475759360 pd_io.py:53] >>> loading file from data/tydi/tydiqa-v1.0-dev.jsonl.gz
I0624 16:35:16.449943 139650475759360 prepare_tydi_data.py:187] Examples processed: 0
I0624 16:39:11.050059 139650475759360 prepare_tydi_data.py:187] Examples processed: 3000
I0624 16:43:06.520539 139650475759360 prepare_tydi_data.py:187] Examples processed: 6000
I0624 16:47:03.243960 139650475759360 prepare_tydi_data.py:187] Examples processed: 9000
I0624 16:51:02.098562 139650475759360 prepare_tydi_data.py:187] Examples processed: 12000
I0624 16:54:55.408642 139650475759360 prepare_tydi_data.py:187] Examples processed: 15000
I0624 16:58:50.746861 139650475759360 prepare_tydi_data.py:187] Examples processed: 18000
I0624 17:00:13.173192 139650475759360 prepare_tydi_data.py:211] Examples with correct context retained: 9212 of 18670
I0624 17:00:13.173460 139650475759360 prepare_tydi_data.py:216] Number of total features 336499
time cose: 24.96 min

登录后复制

执行以下代码生成训练数据集 train.h5df，用时约3小时，生成数据大小1.4GB，包括46万+ 个样本。

因赛AIGC

因赛AIGC解决营销全链路应用场景

查看详情

In [4]

!python3 -m tydi_canine.prepare_tydi_data \
  --input_jsonl="**/tydiqa-v1.0-train.jsonl.gz" \
  --output_dir=data/tydi/train.h5df \
  --max_seq_length=2048 \
  --doc_stride=512 \
  --max_question_length=256 \
  --include_unknowns=0.1 \
  --logging_steps=30000 \
  --is_training=true

登录后复制

I0624 17:00:14.680838 140086686390016 prepare_tydi_data.py:134] >>> input features will be store at data/tydi/train.h5df
I0624 17:00:14.683240 140086686390016 pd_io.py:53] >>> loading file from data/tydi/tydiqa-v1.0-train.jsonl.gz
I0624 17:00:14.737086 140086686390016 prepare_tydi_data.py:187] Examples processed: 0
I0624 17:36:17.786075 140086686390016 prepare_tydi_data.py:187] Examples processed: 30000
I0624 18:11:26.206844 140086686390016 prepare_tydi_data.py:187] Examples processed: 60000
I0624 18:47:06.246754 140086686390016 prepare_tydi_data.py:187] Examples processed: 90000
I0624 19:22:25.193837 140086686390016 prepare_tydi_data.py:187] Examples processed: 120000
I0624 19:58:38.454844 140086686390016 prepare_tydi_data.py:187] Examples processed: 150000
I0624 20:18:25.707869 140086686390016 prepare_tydi_data.py:211] Examples with correct context retained: 64991 of 166916
I0624 20:18:25.708129 140086686390016 prepare_tydi_data.py:216] Number of total features 459947
time cose: 198.19 min

登录后复制

In [ ]

# 处理完数据后可以将 **/tydiqa-v1.0-train.jsonl.gz 文件删除，之后不需要用到!rm ./data/tydi/tydiqa-v1.0-train.jsonl.gz

登录后复制

4 模型使用

4.1 使用案例

In [5]

from canine import CanineTokenizerfrom canine import CanineModelimport paddle

pretrained_model_path = "data/paddle_weight/"model = CanineModel.from_pretrained(pretrained_model_path)
tokenizer = CanineTokenizer.from_pretrained(pretrained_model_path)
text = ["canine is tokenization-free"]

inputs = tokenizer(text,
                     padding="longest",
                     return_attention_mask=True,
                     return_token_type_ids=True, )
pd_inputs = {k: paddle.to_tensor(v) for (k, v) in inputs.items()}
seq_outputs, pooling_outputs = model(**pd_inputs)print(seq_outputs.shape)print(pooling_outputs.shape)

登录后复制

W0624 20:18:29.014458   165 gpu_context.cc:278] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.2, Runtime API Version: 10.1
W0624 20:18:29.019143   165 gpu_context.cc:306] device: 0, cuDNN Version: 7.6.

登录后复制

[1, 29, 768]
[1, 768]

登录后复制

4.2 TydiQA 任务复现

训练参数信息可在 run_tydi.py 中查看。关于训练的超参、优化器、loss等选择，请查看根目录下的 note.md。

注意：由于官方论文中并没有提到微调的参数配置，因此本次复现参考并分别尝试了 canine官方仓库的微调配置（batch_size=512，epoch=10, lr=5e-5），以及 tydiqa 基线仓库的微调配置（batch_size=16，epoch=3，lr=5e-5）。其中 batch_size=512 通过梯度累加来近似模拟。

实验中发现，10个epoch训练存在明显的过拟合，并且 2-3 个 epoch 的效果普遍比 10 个 epoch 高出 2-3 %。

4.2.1 模型训练

单卡 V100 32G 训练需要8小时左右（多卡仅改动启动方式为 !python -m paddle.distributed.launch --selected_gpus='0,1,2,3' run_tydi.py）。

In [4]

# !python -m paddle.distributed.launch --selected_gpus='0,1,2,3' run_tydi.py \  # 多卡训练使用!python run_tydi.py \
  --train_input_dir=data/tydi/train.h5df \
  --do_train \
  --max_seq_length=2048 \
  --train_batch_size=20 \
  --learning_rate=5e-5 \
  --num_train_epochs=2 \
  --warmup_proportion=0.1 \
  --logging_steps=500 \
  --checkout_steps=50000 \
  --seed=2022 \
  --fp16 \
  --gradient_accumulation_steps=1 \
  --output_dir=data/tydiqa_baseline_model/train

登录后复制

W0624 20:21:53.680686 27743 gpu_context.cc:278] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.2, Runtime API Version: 10.1
W0624 20:21:53.685145 27743 gpu_context.cc:306] device: 0, cuDNN Version: 7.6.[2022-06-24 20:21:58,763] [    INFO] - Weights of CanineForTydiQA not initialized from pretrained model: ['span_classifier.weight', 'span_classifier.bias', 'answer_type_classifier.weight', 'answer_type_classifier.bias']
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5
Found inf or nan, current scale is: 131072.0, decrease to: 131072.0*0.5

登录后复制

训练日志在 work/canine_paddle/data/tydiqa_baseline_model/trian 中可以查看。同时可以使用 Paddle 的 VisualDL 可视化工具查看：1. 选择 notebook 左侧的数据模型可视化。2. 添加 /home/aistudio/log/train 目录为 logdir

4.2.2 tydi任务评测

【备注】测评环节根据 tydi 官方指示进行。我们使用训练结束的权重进行测试，不考虑中间的checkout point。测评过程中会生成./data/tydiqa_baseline_model/predict/pred.jsonl ，其为格式满足 TydiQA 评测要求的文件，格式要求可以参考：TydiQA 评测文件示例

步骤一：运行以下代码，生成任务评测文件 pred.jsonl ，由于 tydiQA任务的评估方式较为特殊，因此可以采用单卡或者多卡进行（多卡仅改动启动方式为 !python -m paddle.distributed.launch --selected_gpus='0,1,2,3' run_tydi.py）：

In [5]

# !python3 -m paddle.distributed.launch --selected_gpus='0,1,2,3' run_tydi.py \   # 多卡训练使用!python3 run_tydi.py \
  --state_dict_path=data/tydiqa_baseline_model/train \
  --predict_file=data/tydi/tydiqa-v1.0-dev.jsonl.gz \
  --precomputed_predict_file=data/tydi/dev.h5df \
  --do_predict \
  --max_seq_length=2048 \
  --max_answer_length=100 \
  --candidate_beam=30 \
  --predict_batch_size=32 \
  --logging_steps=1000 \
  --seed=2022 \
  --output_dir=data/tydiqa_baseline_model/predict \
  --output_prediction_file=data/tydiqa_baseline_model/predict/pred.jsonl

登录后复制

W0625 03:29:33.173774 13821 gpu_context.cc:278] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.2, Runtime API Version: 10.1
W0625 03:29:33.178153 13821 gpu_context.cc:306] device: 0, cuDNN Version: 7.6.[2022-06-25 03:29:38,250] [    INFO] - Weights of CanineForTydiQA not initialized from pretrained model: ['span_classifier.weight', 'span_classifier.bias', 'answer_type_classifier.weight', 'answer_type_classifier.bias']

登录后复制

测评日志在 work/canine_paddle/data/tydiqa_baseline_model/predict 中可以查看。

超参说明：

--state_dict_path：存放微调权重的文件路径；若为文件夹路径，则会读取该文件夹下的 tydi_seed_{seed}.pdparams 权重。

--predict_file：从官方下载的 tydiqa-v1.0-dev.jsonl.gz 文件路径。

--output_dir：输出运行日志

--output_prediction_file：输出 JSON 评估文件路径。

步骤二：运行 tydi 官方跑分程序：将 predictions_path 对应到上一步中的 pred.jsonl 位置。

其中 Tydi 测评所需要的 tydi_eval.py, eval_utils.py 源于 tydi 官方。

运行下方代码，可以看到，仅训练 2个 Epoch（官方仓库的配置是10个epoch），CANINE 在 TydiQA 数据集上的指标均比 Tydi mBert 基线高出了3%+。

In [6]

!python3 official_tydi/tydi_eval.py \
  --gold_path=data/tydi/tydiqa-v1.0-dev.jsonl.gz \
  --predictions_path=data/tydiqa_baseline_model/predict/pred.jsonl \
  --verbose=False

登录后复制

I0625 09:06:43.232116 140451243751168 eval_utils.py:291] Parsing data/tydi/tydiqa-v1.0-dev.jsonl.gz (gzip)...
I0625 09:06:50.419521 140451243751168 tydi_eval.py:479] 7556 examples have minimal answers
I0625 09:06:50.419761 140451243751168 tydi_eval.py:480] ****************************************
I0625 09:06:50.419822 140451243751168 eval_utils.py:211] Reading predictions from file: data/tydiqa_baseline_model/predict/pred.jsonl
W0625 09:06:50.718449 140451243751168 tydi_eval.py:233] Predictions missing for 1 examples.
I0625 09:06:50.718697 140451243751168 tydi_eval.py:234]   Missing ids: [483185134238717036]
Passage & english & \fpr{61.9}{66.2}{58.1}
Minimal Answer & english & \fpr{49.9}{61.6}{41.9}
********************
Passage & arabic & \fpr{83.0}{85.2}{80.9}
Minimal Answer & arabic & \fpr{70.7}{80.0}{63.4}
********************
Passage & bengali & \fpr{65.1}{74.7}{57.7}
Minimal Answer & bengali & \fpr{54.3}{62.7}{47.8}
********************
Passage & finnish & \fpr{64.1}{65.5}{62.8}
Minimal Answer & finnish & \fpr{56.1}{63.5}{50.2}
********************
W0625 09:06:50.812115 140451243751168 tydi_eval.py:233] Predictions missing for 1 examples.
I0625 09:06:50.812309 140451243751168 tydi_eval.py:234]   Missing ids: [15806027368664557]
Passage & indonesian & \fpr{64.7}{66.0}{63.5}
Minimal Answer & indonesian & \fpr{56.6}{61.7}{52.3}
********************
Passage & japanese & \fpr{52.8}{65.6}{44.2}
Minimal Answer & japanese & \fpr{44.5}{55.0}{37.4}
********************
Passage & swahili & \fpr{68.9}{76.5}{62.7}
Minimal Answer & swahili & \fpr{60.7}{74.7}{51.1}
********************
Passage & korean & \fpr{63.1}{71.1}{56.7}
Minimal Answer & korean & \fpr{39.0}{43.8}{35.2}
********************
Passage & russian & \fpr{64.6}{65.1}{64.1}
Minimal Answer & russian & \fpr{50.2}{61.3}{42.5}
********************
W0625 09:06:50.966964 140451243751168 tydi_eval.py:233] Predictions missing for 2 examples.
I0625 09:06:50.967158 140451243751168 tydi_eval.py:234]   Missing ids: [-6397488112403382620, 7216454742149172827]
Passage & telugu & \fpr{83.5}{83.6}{83.4}
Minimal Answer & telugu & \fpr{77.5}{86.3}{70.3}
********************
Passage & thai & \fpr{62.4}{64.9}{60.1}
Minimal Answer & thai & \fpr{49.8}{55.1}{45.5}
********************
Total # examples in gold: 18670, # ex. in pred: 18666 (including english)
*** Macro Over 10 Languages, excluding English **
Passage F1:0.672 P:0.718 R:0.635978
\fpr{67.2}{71.8}{63.6}
Minimal F1:0.560 P:0.644 R:0.495881
\fpr{56.0}{64.4}{49.6}
*** / Aggregate Scores ****
{"avg_passage_f1": 0.672270647476107, "avg_passage_recall": 0.6359777874965081, "avg_passage_precision": 0.7183519530345681, "avg_minimal_f1": 0.5595748224545292, "avg_minimal_recall": 0.4958814852655177, "avg_minimal_precision": 0.6441669216190516}

登录后复制

--gold_path：从官方下载的 tydiqa-v1.0-dev.jsonl.gz 文件路径。

--predictions_path：步骤一种输出 JSON 评估文件的路径。步骤三：清理过程文件

在 data/tydiqa_baseline_model/predict 文件夹下会生成用于储存 logits 的 results_gpu_*.pickle 文件。测试结束后可以将其删除。

In [7]

# 删除预测中的过程文件!rm -r `find ./data -name "results_gpu_*"`

登录后复制

4.2.3 复现结果

以下复现结果为多次微调、预测、评估后的 macro F1 平均值：

TydiQA 任务	TydiQA mBert 基线	Canine 论文精度	本仓库复现精度
Passage Selection Task (SELECTP)	63.2%	66.0%	65.92%
Minimal Answer Span Task (MINSPAN)	51.2%	52.8%	55.04%

各次微调的日志、评估文件等可以在 logs 文件夹中查看，这边对所有训练结果进行整理：

	batch size	acc grad steps	理论 batch size	seed	epoch	TydiQA SelectP F1	TydiQA MinSpan F1
V100	16	1	16	2021	3	66.01%	55.77%
V100	16	1	16	666	3	67.02%	56.17%
v100	16	32	512	5121	10	64.35%	53.58%
v100	16	32	512	555	4	66.29%	54.12%
3090*4	14	9	504	5123	4	65.93%	55.60%
-	-	-	-		平均	65.92%	55.04%

此外，以下展示了所有复现过程中进行过的其他微调结果，由于参数配置问题，他们不被计入论文复现精度，但仍可以为该模型在Tydi任务上的训练效果提供一些信息。

设备	batch size	acc grad steps	理论 batch size	seed	混合精度训练	epoch	warm up	TydiQA SelectP F1	TydiQA MinSpan F1
V100*1	20	25	500	6	否	10	0.01	64.38%	53.73%
3090*4	10	12	480	6	否	10	0.01	65.23%	53.49%
3090*4	10	1	40	6	否	10	0.01	67.31%	53.11%
V100*4	16	1	64	2022	是	3	0.01	67.26%	56.41%
V100*4	16	1	64	2020	是	3	0.01	67.29%	56.42%
V100*4	8	1	32	2020	是	3	0.1	67.26%	56.37%
A4000*4	8	1	32	2020	是	3	0.1	67.43%	55.91%
-	-	-	-	-	-	-	平均	66.59%	55.06%

备注：

官方 warm up 比例为 0.1；
此处理论 batch_size = batch_size * accumulate_gradient_steps * number_GPU
除上述两者外，其他训练配置均与官方相同。
在 Tydi Leaderboard 上，TydiQA SelectP 任务的 Top5/Top1 成绩为 72.5%/79.5%。而 TydiQA MinSpan 的 Top5/Top1 成绩为 63.4%/72.35%。canine 与 SOTA 还是有点差距的。

以上就是【复现赛 NLP】基于 Paddle 实现 Canine 模型的详细内容，更多请关注php中文网其它相关文章！