MySQL大表迁移需稳字当头,先评估目标与数据规模,选择合适工具如pt-online-schema-change或Mydumper/Myloader;通过影子表与增量同步实现在线迁移,避免锁表;按主键分批并行处理数据,控制事务大小与并发量;迁移后使用pt-table-checksum校验一致性,并全程监控负载与延迟,配备回滚预案,确保安全可靠。

MySQL大表迁移是数据库运维中常见但极具挑战性的任务,尤其当表数据量达到千万级甚至上亿行时,直接操作容易导致锁表、主从延迟、服务中断等问题。以下是一些经过验证的最佳实践,帮助你安全高效地完成大表数据迁移。
1. 评估与规划迁移方案
在动手之前,先明确迁移目标:是跨实例迁移、跨集群迁移,还是结构变更(如加字段、改索引)?不同的目标适用不同策略。
关键点:
- 统计表的行数、大小、索引数量,评估迁移耗时
- 确认业务低峰期窗口,避免影响线上性能
- 选择合适工具:mysqldump适合小表;pt-online-schema-change适用于结构变更;Mydumper/Myloader支持多线程导出导入,适合大表
- 考虑是否需要双写、数据校验机制
2. 使用在线迁移工具减少停机时间
对于不能停机的场景,推荐使用pt-online-schema-change或gh-ost这类工具,它们通过创建影子表、异步同步增量数据的方式实现无锁迁移。
操作逻辑:
- 创建新结构的目标表(影子表)
- 通过触发器或binlog捕获原表的增删改,实时同步到新表
- 分批将老数据拷贝到新表,每批后短暂sleep避免资源争抢
- 数据追平后,原子性rename替换原表
注意:启用触发器会影响原表写入性能,建议在低峰期执行,并监控TPS波动。
3. 分批次迁移避免长事务和锁竞争
如果采用自定义脚本迁移,务必按主键范围分批处理,例如每次迁移1万~5万行。
示例SQL:
SELECT * FROM large_table WHERE id BETWEEN 10000 AND 20000;
插入目标表后提交事务,避免大事务导致undo日志膨胀和复制延迟。可以结合WHERE条件+ORDER BY + LIMIT进行滚动分页,但需注意边界重复问题。
4. 启用并行处理提升效率
单线程迁移大表太慢,可通过主键分段并行导入。比如将id区间划分为多个段,每个段由独立线程处理。
注意事项:
- 确保各线程操作的数据区间不重叠
- 控制并发数,避免数据库连接过多或IO过载
- 目标端需关闭唯一性检查(临时)、禁用非必要索引,加快写入速度
Mydumper就是基于此原理实现多线程导出,配合Myloader可显著缩短整体时间。
5. 数据一致性校验不可少
迁移完成后必须验证数据完整性。可使用pt-table-checksum对源库和目标库进行行级比对,发现差异后用pt-table-sync修复。
对于超大表,可抽样校验关键字段总和、记录数、最大最小ID等指标,作为快速验证手段。
6. 监控与回滚预案
全程监控数据库负载、复制延迟、磁盘空间、网络带宽。一旦出现异常,要有快速回退机制,比如保留原表备份或开启双写切换开关。
建议提前准备rollback脚本,并在测试环境演练整个流程。
基本上就这些。大表迁移不复杂但容易忽略细节,关键是稳字当头,步步为营。提前测试、分批执行、工具辅助、校验兜底,才能做到万无一失。










