0

0

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因

爱谁谁

爱谁谁

发布时间:2025-07-10 11:26:41

|

974人浏览过

|

来源于php中文网

原创

作者:郭斌斌

爱可生 DBA 团队成员,负责项目日常问题处理及公司平台问题排查。

本文来源:原创投稿

*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

一、背景

客户反馈在生产环境中,MySQL 5.7 使用 xtrabackup 和 Binlog 进行基于时间点的恢复操作时,卡在 Binlog 的回放阶段,时间漫长,令人怀疑这种操作的合理性。因此,本文进行了 Binlog 回灌验证操作。

二、复现前提 MySQL 版本:5.7.22

Binlog 格式:Row

稿定AI绘图
稿定AI绘图

稿定推出的AI绘画工具

下载

准备删除 800 多万记录的 Binlog

三、复现准备 3.1 创建表、构造数据

mysql> create table t1(id int primary key,name varchar(10));
Query OK, 0 rows affected (0.02 sec)

mysql> insert into t1 values(1,repeat('a',10));
Query OK, 1 row affected (0.01 sec)

mysql> insert into t1 select (select count(1) from t1)+id,name from t1;
Query OK, 1 row affected (0.01 sec)
Records: 1  Duplicates: 0  Warnings: 0

………………

mysql> insert into t1 select (select count(1) from t1)+id,name from t1;
Query OK, 4194304 rows affected (57.75 sec)
Records: 4194304  Duplicates: 0  Warnings: 0

3.2 准备删除 800 多万记录的 Binlog 文件

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 MySQL Binlog mysql-bin.000003 用于回灌测试

3.3 由于 Binlog 的回灌和造数是在同一个实例上,之前为了构建删除 800 多万记录的 Binlog,已经将数据删除,因此在进行 binlog 回灌前,需要使用之前造数的方法,重新造数

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 3.4 在同一个实例上先进行了删除操作,又重新构建新的数据。导致删除操作的 GTID 比重新造数操作的 GTID 小,为保证可以正常回灌,可以执行 reset master

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 四、复现测试 4.1 解析 MySQL Binlog mysql-bin.000003

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.2 导入解析文件

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.3 查看 processlist,发现导入线程一直处于 Sleep 状态,现象与客户描述一致。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.4 随即中断导入操作,重新发起导入同时使用 strace 记录操作的行为。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 4.5 通过观测产生的 strace.log,发现两个 read 的时间间隔不固定,少的也需要140ms左右,而读取的大小却只有4k(4096),读取效率偏低。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 五、分析 通过 Google 搜索“MySQL Mem Load Slow”,发现这是一个已知的 BUG,MySQL 5.7 Client 在读取较大事务(涉及多行操作)时,由于内存分配效率低,导致消耗大量时间,已在 MySQL 8.0.13 中修复。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 六、复测 6.1 使用 MySQL 8.0.18 客户端进行 Binlog 解析文件的回灌,提示 MySQL Server has gone away

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.2 导数报错时数据库未触发重启,查看 error 日志,有如下报错:

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.3 调大 max_allowed_packet 配置后重新测试

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.4 观测 strace 日志,每次读取 Binlog 大小为16M,远高于原来的4k

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.5 观测线程状态

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 6.6 观察执行耗时,MySQL 8.0.18 客户端导数时间变短,效率提升明显。

技术分享 | MySQL Binlog 通过 MySQL 客户端导入数据库效率低的原因 七、结论 目前官方在 MySQL 8.0.13 版本中,已解决“使用 MySQL Client 进行批量导数时,内存分配效率低”的问题。因此,MySQL 8.0.18 客户端在进行回灌 Binlog 解析后的文件时,读取文件效率明显高于 5.7.22 的客户端,提升了 Binlog 回放的效率。

参考链接 https://www.php.cn/link/251b4805008712ec04e69c6569bfb189

https://www.php.cn/link/b16a9e8de58c95b427b29472b1eca130

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2403

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

1547

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

1444

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

951

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

1414

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

1233

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1445

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1305

2023.11.13

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

80

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7万人学习

Django 教程
Django 教程

共28课时 | 3万人学习

Excel 教程
Excel 教程

共162课时 | 11.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号