0

0

如何在mysql中迁移大数据量表

P粉602998670

P粉602998670

发布时间:2025-10-16 15:04:01

|

220人浏览过

|

来源于php中文网

原创

分批迁移可避免锁表和超时问题,通过主键分段使用LIMIT和WHERE条件控制数据量,示例:INSERT INTO target_table SELECT * FROM source_table WHERE id > 1000000 AND id

如何在mysql中迁移大数据量表

迁移大数据量表在 MySQL 中是一项需要谨慎处理的任务,直接使用常规的 INSERT INTO ... SELECT 或导出导入方式容易导致锁表、耗尽内存或执行时间过长。以下是几种高效且安全的迁移方法,适用于不同场景。

分批迁移避免锁表和超时

对于千万级以上的表,建议采用分批次迁移的方式,避免长时间持有锁或占用过多资源。

  • 通过主键或唯一索引进行分段,每次只迁移一部分数据
  • 使用 LIMITWHERE 条件控制每次读取的数据量
  • 示例语句:

INSERT INTO target_table SELECT * FROM source_table WHERE id > 1000000 AND id

可以编写脚本循环执行,逐步推进迁移进度。每批完成后可短暂休眠,减少对线上服务的影响。

使用 pt-online-schema-change 工具

Percona Toolkit 提供的 pt-osc 可以在线修改表结构并迁移数据,过程中原表仍可读写。

  • 自动创建新表、同步增量数据、切换表名
  • 适用于需要变更结构的同时迁移数据的场景
  • 命令示例:

pt-online-schema-change --alter "ENGINE=InnoDB" D=dbname,t=large_table --execute

注意:确保 binlog 开启,从库延迟不能过高,否则会中断操作。

盛世企业网站管理系统1.1.2
盛世企业网站管理系统1.1.2

免费 盛世企业网站管理系统(SnSee)系统完全免费使用,无任何功能模块使用限制,在使用过程中如遇到相关问题可以去官方论坛参与讨论。开源 系统Web代码完全开源,在您使用过程中可以根据自已实际情况加以调整或修改,完全可以满足您的需求。强大且灵活 独创的多语言功能,可以直接在后台自由设定语言版本,其语言版本不限数量,可根据自已需要进行任意设置;系统各模块可在后台自由设置及开启;强大且适用的后台管理支

下载

逻辑导出导入优化性能

使用 mysqldump 导出大表时需加参数优化速度和资源占用。

  • 启用单事务模式(仅适用于 InnoDB)保证一致性:--single-transaction
  • 分块导出避免内存溢出:--where="id >= 1" --and--where="id
  • 禁用外键检查加快导入:--set-gtid-purged=OFF --skip-add-drop-table --compact

导入时关闭唯一性校验和自动提交可显著提升速度:

SET unique_checks=0; SET foreign_key_checks=0; SET autocommit=0;

物理备份迁移(最快方式)

若源和目标环境硬件相似,可使用 XtraBackup 进行物理热备迁移。

  • 几乎不影响业务性能
  • 恢复速度快,适合 TB 级别数据
  • 步骤包括备份、传输、恢复、启动实例

注意目标实例版本和配置应与源端兼容。

基本上就这些常用方法。选择哪种取决于你的停机窗口、数据一致性要求以及硬件条件。关键是控制批量大小,监控资源使用,提前测试流程。不复杂但容易忽略细节。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

662

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

246

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

281

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

514

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

253

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

386

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

528

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

599

2023.08.14

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

8

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.8万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 793人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号