文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 数据库 > mysql教程 > 正文

为某XXX手机公司删除重复数据优化一例

php中文网
发布： 2016-06-07 17:41:25
原创
1094人浏览过

这是他们一个开发写的sql，目的是删除重复数据，且id是最小值的行不删除：deletefromjd_chapterawherea.`id`in(select`id`fromjd_chaptergroup&nbs..

这是他们一个开发写的sql，目的是删除重复数据，且id是最小值的行不删除：

因为表大（千万级别），且使用了两个子查询，执行了很久没有执行完。
 

--------------------------思路----------------------------

采用临时表做关联，以下是步骤：

一、先到Slave库上把重复数据导出来，网站空间，避免造成主库压力过大。

  • into outfile '/tmp/jd_chapter.sql' FIELDS TERMINATED BY ','; 

    • 二、拷贝导出的SQL到Master主库的/tmp/目录下

    三、在Master主库上，建立一张临时表，并创建主键：

  • Query OK, 0 rows affected (0.07 sec) 

    • 四、在Master主库上，LOAD方式导入至临时表里

  • load data infile '/tmp/jd_chapter.sql' into table tmp FIELDS TERMINATED BY ','; 

    • 五、在Master主库上，删除临时表最小的id

  • delete from tmp limit 1; 

    • 六、用临时表做关联，删除jd_chapter表重复数据

  •  

     

    本文出自 “贺春旸的技术专栏” 博客，网站空间，请务必保留此出处

    ，虚拟主机
    • 最佳 Windows 性能的顶级免费优化软件
    最佳 Windows 性能的顶级免费优化软件

    每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

    下载
    来源：php中文网
    收藏 点赞
    上一篇： 关于oracle数据库高版本向低版本迁移的解决方法 下一篇： 使用DBCC CHECKPRIMARYFILE 查询Detach数据库信息
    本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
    最新问题
    处理PHP从MySQL数据库查询无结果的情况 PHP从MySQL数据库查询无结果时，应使用以下策略处理：1.使用mysqli_num_rows()或PDOStatement::rowCount()检查结果集是否为空。2.显示友好的提示信息，如“未找到相关数据”。3.提供默认值或替代方案。4.记录日志以便调试。5.调整查询条件或提供用户调整选项。6.优化性能，避免频繁查询数据库。
    2025-06-08 08:03:01
    407
    mysql建库完整语句 包含字符集排序规则示例 在MySQL中创建数据库时，应使用CREATEDATABASE命令，并指定字符集和排序规则。示例：CREATEDATABASEmy_databaseCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;这确保了数据的正确存储和检索，并影响数据库的性能和兼容性。
    2025-06-07 14:06:01
    475
    在mysql中创建表的语句 数据库建表完整写法 在MySQL中创建表的步骤如下：1.使用CREATETABLE语句定义表结构，包含字段名、数据类型和约束。2.设置主键和唯一键，确保数据唯一性。3.选择合适的存储引擎和字符集。4.考虑性能优化，如使用合适的索引和定期维护。通过这些步骤和最佳实践，可以有效提升数据库的性能和可维护性。
    2025-06-07 13:03:01
    426
    mysql中主键是什么 主键的定义和作用解析 主键是表中唯一标识每条记录的列或列组合，其作用包括保证数据唯一性和提升表性能。1）主键必须唯一且不含NULL值。2）选择自增整数作为主键可提高查询效率。3）避免使用易变字段或过长字符串作为主键，以防性能下降。4）复合主键适用于某些场景，但维护和查询较复杂。
    2025-06-07 12:33:02
    706
    MySQL中批量插入优化 大批量数据插入的性能提升方案 在MySQL中提升大批量数据插入性能的关键在于减少数据库负担并优化事务及配置。1.使用多值INSERT语句合并插入操作，每批控制在500~1000条以减少通信开销；2.关闭autocommit并使用事务，每万条提交一次以降低IO频率；3.调整表结构与配置，如删除索引、增大缓冲池和日志文件，并可使用LOADDATAINFILE导入文件；4.借助工具如mysqlimport或ETL程序实现高效导入，注意并发控制以避免系统过载。这些方法可根据场景组合应用以达到最佳效果。
    2025-06-07 11:54:01
    949
    mysql数据库基础知识 快速掌握mysql核心概念与基本操作 MySQL核心概念包括数据库、表、字段和记录。要快速掌握MySQL，需注意以下几点：1.创建和操作数据库及表，如CREATEDATABASE和CREATETABLE。2.掌握SQL查询，如SELECT语句的筛选和排序。3.选择合适的数据类型和使用索引优化性能。4.使用EXPLAIN分析查询计划进行性能优化。5.运用事务保证数据一致性和完整性。
    2025-06-07 11:03:01
    675
    mysql中jion用法 mysql表连接查询教程 MySQL中JOIN用于连接多个表进行查询，主要类型包括INNERJOIN、LEFTJOIN、RIGHTJOIN和FULLOUTERJOIN。1.INNERJOIN返回两个表中匹配的记录。2.LEFTJOIN返回左表的所有记录，右表无匹配时显示NULL。3.RIGHTJOIN返回右表的所有记录，左表无匹配时显示NULL。4.FULLOUTERJOIN返回所有记录，可通过LEFTJOIN和RIGHTJOIN组合实现。使用JOIN时需注意性能、数据一致性和避免过度使用。
    2025-06-07 08:48:02
    260
    mysql数据库基础命令 新手必学的mysql操作指令合集 MySQL的基础命令包括：1.连接服务器：mysql-uroot-p；2.创建数据库：CREATEDATABASEmydatabase；3.选择数据库：USEmydatabase；4.创建表：CREATETABLEusers(idINTAUTO_INCREMENTPRIMARYKEY,nameVARCHAR(100)NOTNULL,emailVARCHAR(100)NOTNULLUNIQUE)；5.插入数据：INSERTINTOusers(name,email)VALUES('JohnDoe',
    2025-06-06 15:12:02
    419
    mysql中as是什么意思 as关键字的别名功能说明 AS关键字在MySQL中用于给列或表起别名，提高查询的可读性和易用性。1)为列起别名，如SELECTcolumn_nameASalias_nameFROMtable_name，使结果更易理解。2)为表起别名，如SELECTc.customer_name,o.order_idFROMcustomersAScJOINordersASoONc.customer_id=o.customer_id，简化复杂JOIN操作。3)别名使查询结果更具语义化，如SELECTemployee_idASemployee
    2025-06-06 14:09:01
    778
    mysql如何实现读写分离？有哪些中间件？ MySQL实现读写分离的核心逻辑是将写操作（INSERT、UPDATE、DELETE）发到主库，读操作（SELECT）分散到从库。其原理基于主从复制机制，主库处理写请求并将数据变更同步至从库，应用层或中间件负责路由请求；实现方式主要有两种：一是手动编码控制，适合小项目，如通过MyBatis拦截器切换数据源；二是使用中间件自动分流，适合中大型项目，可统一处理连接池、负载均衡、故障转移等问题；常用的中间件包括MyCat、ShardingSphere、MaxScale和ProxySQL，各自具备不同特
    2025-06-06 10:12:02
    294
    相关专题
    更多>
    热门推荐
    开源免费商场系统广告
    热门教程
    更多>
    相关推荐
    热门推荐
    最新课程
    最新下载
    更多>
    网站特效
    网站源码
    网站素材
    前端模板
    关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
    php中文网：公益在线php培训，帮助PHP学习者快速成长！
    关注服务号 技术交流群
    app下载
    PHP中文网订阅号
    每天精选资源文章推送
    PHP中文网APP
    随时随地碎片化学习
    PHP中文网抖音号
    发现有趣的

    Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部