跳还是不跳?这是个问题

php中文网
发布: 2016-06-07 16:10:42
原创
1523人浏览过

周一(2014-11-17)有个项目进行变更,而且是重大变更,DB测操作从早上持续到下午17点,QA同事到晚上10点测试后发现,slave上的数据与master上不一致。 这个问题应该在情理之中但又在意料之外,其实dba在下午db变更时便遇到slave卡住: Could not execute Del

周一(2014-11-17)有个项目进行变更,而且是重大变更,DB测操作从早上持续到下午17点,QA同事到晚上10点测试后发现,slave上的数据与master上不一致。
忘介绍了,该项目的该模块有读请求以及delete逻辑在上面,被吓到没?

这个问题应该在情理之中但又在意料之外,其实dba在下午db变更时便遇到slave卡住:

Could not execute Delete_rows event on table codcpc_1004pc_0x3EC.mail; Can't find record in 'mail
', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log binlog.010464, end_log_pos 82113, Error_code: 1032
141117  7:54:31 [Warning] Slave: Can't find record in 'mail' Error_code: 1032
登录后复制

我当时的做法是直接跳过不存在的表,写了下面这个脚本:

mysqlconn="mysql -uADMIN -p4word"
 
#while [ "1" = "1" ]

for i in `seq 1 30`
do
   status=`$mysqlconn -e "show slave status\G;" | grep -i "Last_SQL_Error" | grep -i "mail"` 
   if [ -n "$status" ];then
   $mysqlconn -vvve "stop slave;set global sql_slave_skip_counter=1;start slave;" 
   sleep 1
   else
     $mysqlconn -vvve "show slave status\G"
     echo "error is OK!"
     exit 0
   fi
done
登录后复制

很奇怪的,本以为得写死循环跑,没想到在调试 3次以内就过了,当时没有深究,也因为没时间深究导致后面的熬夜排查问题。


始作俑者是一条SQL:delete from mail where recipientEntityID in (select userid from test.deltb);


今天出现卡住,主要还是因为Delete_rows发现键不存在,如果改为statement,这个问题就不会出现。因为那条罪魁祸首的sql,在slave上肯定能执行下去。
可关键是我们的binlog_format是MIXED模式,那么问题来了,在什么情况下,binlog_format=mixed时,生成的binlog会转换为row格式?关于这点我查了官方文档,看得不是很明白,留待之后更新。

而binlog_format是row模式的时候,skip是以事务级别来的。
下午的删除里边,在master上做的delete,实际上binlog会转换为很多binlog event,而这些event仅仅被几个begin commit包围着。
这也就解释了上面我的问题。


那么跳还是不跳?sql_slave_skip_counter=N在线上跳确实存在一定风险。


⑴ InnoDB时,N=1是跳过整个事务,而不只是一条SQL语句
⑵ 当RBR模式时,无论是InnoDB 或MyISAM,binlog event都是以begin;row group;commit来组织,当N=1时跳过的还是整个事务内容


更安全的做法是sql_exec_mode=IDEMPOTENT,只跳过有问题的SQL或者row,相对于sql_slave_skip_counter而言,slave_exec_mode的处理范围更小、更安全,不过其仅仅适合RBR模式 :(

ZYCH自由策划企业网站管理系统06 Build210109
ZYCH自由策划企业网站管理系统06 Build210109

ZYCH自由策划企业网站管理系统是一个智能ASP网站管理程序,是基于自由策划企业网站系列的升级版,结合以往版本的功能优势,解决了频道模板不能自由添加删减的问题,系统开发代码编写工整,方便读懂,系统采用程序模板分离式开发。方便制作模板后台模板切换,模板采用动态编写,此模板方式写入快,代码编写自由,即能满足直接使用也能满足二次开发。全新的后台界面,不管是在程序的内部结构还是界面风格及CSS上都做了大量

ZYCH自由策划企业网站管理系统06 Build210109 1
查看详情 ZYCH自由策划企业网站管理系统06 Build210109
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号