讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 数据库 > mysql教程 > 正文

mysql高效导数据方法_MySQL

php中文网
发布： 2016-06-01 13:29:31
原创
1169人浏览过

bitsCN.com

mysql高效导数据方法

 

模拟现网测试，需要搭建测试环境，导入上亿级的数据到数据库。对于到的问题做些简单记录。

 

数据：一个db，2000个表格，2000张表格数据，每条记录30个column，平均每张表格4.3w条记录，总共86388670条记录。

 

机器：linux 64bit 8G内存 4核IntelX3320@2.5GHz 

 

基本思路：

mysql -utest -pxxxx -s -e "source xxxx.sql"
登录后复制

 

 

将load语句放在xxxx.sql中

 

load语法：

LANUX蓝脑商务网站系统
LANUX蓝脑商务网站系统

LANUX V1.0 蓝脑商务网站系统 适用于网店、公司宣传自己的品牌和产品。 系统在代码、页面方面设计简约，浏览和后台管理操作效率高。 此版本带可见即可得的html编辑器, 方便直观添加和编辑要发布的内容。 安装： 1.解压后，更换logo、分类名称、幻灯片的图片及名称和链接、联系我们等等页面。 2.将dbconfig.php里面的数据库配置更改为你的mysql数据库配置 3.将整个文件夹上传至

LANUX蓝脑商务网站系统 0
查看详情 LANUX蓝脑商务网站系统

 

load data  [low_priority] [local] infile 'file_name.txt' [replace | ignore]
登录后复制

 

 

如果串行导入数据，会很慢，考虑并行，但可能有冲突，解决办法：

 

load之前清空表  

truncate table xxxx 或 delete from table xxxx;
登录后复制

 

 

或使用replace或ignore关键字。

 

bitsCN.com
相关标签：
mysql

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：MySQL半同步复制（Semi-synchronous Replication）_MySQL 下一篇：源码编译MySQL 5.1生成InnoDB存储引擎_MySQL
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
如何设置mysql字符集为utf8mb4_mysql字符集配置指南 MySQL默认字符集是utf8mb3而非utf8mb4，需手动配置my.cnf/my.ini的client[mysqld]段落，设default-character-set和character-set-server为utf8mb4，并重启服务；再对已有库表字段执行ALTER转换；客户端连接也须显式指定utf8mb4。
2025-12-22 10:54:40
719
mysql集群有哪些实现方式_mysql集群方案介绍 MySQL集群包含主从复制、MGR、InnoDBCluster及第三方中间件四类方案：主从复制成熟简单但有延迟；MGR基于Paxos提供强一致性和自动故障转移；InnoDBCluster是MGR的封装版，开箱即用；中间件方案适用于超大规模分片场景。
2025-12-22 10:54:09
820
mysql数据库权限混乱怎么办_mysql权限梳理方案 MySQL权限治理核心是“先收权、再分权、后验证”：一、锁定高危账号与越权行为；二、按角色划分最小权限集；三、清理冗余权限与废弃账号；四、建立权限变更与审计机制。
2025-12-22 10:54:09
938
mysql如何启用数据加密_mysql数据加密配置方法 MySQL数据加密需配置传输层和存储层：先通过SSL实现传输加密，检查SSL支持与状态，配置证书并重启服务，强制用户SSL连接；再启用keyring插件如keyring_file，重启后创建或修改表启用InnoDB表空间加密，最后验证加密状态并定期备份密钥文件。
2025-12-22 10:42:08
367
mysql安装后如何设置字符集_mysql安装字符集配置方法 设置MySQL字符集为utf8mb4可解决中文乱码问题。1.修改my.cnf或my.ini配置文件，在client[mysqld]中添加对应字符集设置；2.重启MySQL服务使配置生效；3.登录后执行SHOWVARIABLES验证character_set和collation相关变量是否均为utf8mb4；4.创建数据库和表时显式指定DEFAULTCHARSET=utf8mb4，已有库表需用ALTER语句转换。配置正确并重启服务后即可确保数据存储一致性。
2025-12-22 10:34:02
472
mysql中如何优化事务隔离_mysql事务隔离优化方法 合理选择MySQL事务隔离级别可平衡一致性与性能，四种级别分别为读未提交、读已提交、可重复读和串行化，其中可重复读为默认级别，能防止脏读和不可重复读但可能出现幻读；在高并发写场景下，可切换为读已提交以减少间隙锁争用，提升并发能力；通过SETSESSIONTRANSACTIONISOLATIONLEVELREADCOMMITTED启用该级别，结合MVCC机制降低锁持有时间，适用于短事务频繁更新场景；同时应控制事务大小，避免长事务导致锁阻塞和undo日志膨胀，建议拆分大事务并分批提交；利用MVCC可
2025-12-22 10:00:10
671
mysql如何防止误操作update删除_mysql安全操作技巧 MySQL防止误操作的核心是执行前防控，主要通过开启SQL_SAFE_UPDATES模式、最小权限授权、事务+行数校验、操作审计与备份回滚五方面实现。
2025-12-22 09:54:09
285
mysql主从复制中断日志怎么看_mysql复制日志解读 主从复制中断时应先执行SHOWSLAVESTATUS\G定位问题类型，再结合错误日志、中继日志、二进制日志交叉验证；重点关注Slave_IO_Running、Slave_SQL_Running、Last_IO_Error、Last_SQL_Error、Relay_Master_Log_File、Exec_Master_Log_Pos和Seconds_Behind_Master等字段。
2025-12-22 09:43:02
123
mysql通配符能用于数据同步吗_mysql通配符在数据同步操作中的可能应用场景 通配符虽不能直接同步数据，但可辅助构建同步逻辑。通过LIKE操作符中的%和_匹配字符模式，可用于筛选需同步的数据，如按命名规则提取分表（user_log_%）或过滤特定记录（test_%）。在增量抽取中，结合INFORMATION_SCHEMA查询动态识别目标表；在主从复制时，利用replicate-wild-do-table等参数实现类通配符表级过滤；在ETL工具中，基于表名或字段值做路由与清洗判断。通配符的模式匹配能力被广泛用于元数据发现、数据筛选与流程控制，是设计灵活同步方案的重要辅助手段
2025-12-22 08:02:02
414
如何在mysql中修改表字段_mysql表字段修改方法 MySQL中修改表字段主要用ALTERTABLE语句，支持改名（CHANGECOLUMN）、改类型（MODIFY/CHANGE）、调约束、加注释、移位置等操作，需注意数据兼容性与定义完整性。
2025-12-22 05:57:29
332
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部