SQL如何删除重复数据 SQL删除重复数据4种高效方案-SQL-PHP中文网

SQL如何删除重复数据 SQL删除重复数据4种高效方案

裘德小鎮的故事

发布： 2025-06-13 11:30:02

原创

908人浏览过

删除重复数据有4种高效方案：1.使用group by和having识别重复数据；2.通过子查询删除并保留id最小的记录；3.在mysql中使用inner join或row_number()函数删除重复项；4.注意备份、索引、事务及性能问题。具体来说，先用select配合group by和having找出重复记录，再通过delete语句结合min(id)保留最小id或使用临时表处理；在mysql中可用delete与inner join结合删除较大id，或用row_number()对分组内记录编号后删除编号大于1的记录；执行删除前必须做好数据备份，并确保字段有索引以提升效率，建议在事务中操作以便回滚，同时考虑大表性能问题并确保数据一致性。

SQL如何删除重复数据 SQL删除重复数据4种高效方案

SQL删除重复数据，核心在于识别和移除。简单来说，就是找到哪些行是“多余”的，然后干掉它们。这事儿听起来简单，但实际操作起来，根据不同的数据库和需求，会有很多种不同的路子。

SQL删除重复数据4种高效方案

删除重复数据，就像整理房间，先得知道哪些东西是重复的，然后才能决定怎么扔。SQL里也一样，先要找到重复的记录，然后才能删除。

如何识别SQL中的重复数据？

识别重复数据，最常用的方法就是使用GROUP BY和HAVING子句。GROUP BY把具有相同值的行组合在一起，HAVING则可以过滤出那些出现次数超过一次的组合。

例如，假设我们有一个employees表，其中有id、name和email三个字段，我们想找出所有email重复的员工：

SELECT email, COUNT(*)
FROM employees
GROUP BY email
HAVING COUNT(*) > 1;

登录后复制

这条SQL语句会返回所有email出现次数大于1的email值和对应的计数。找到了重复的email，我们就可以进一步删除重复的记录了。

不过，仅仅知道哪些email重复还不够，我们还需要确定删除哪一条。通常，我们会保留id最小（或最大）的那一条，删除其他的。

如何删除重复数据，只保留ID最小的那条？

这可能是最常见的需求了。我们可以使用子查询来实现这个目标。

DELETE FROM employees
WHERE id NOT IN (
    SELECT MIN(id)
    FROM employees
    GROUP BY email
    HAVING COUNT(*) > 1
);

登录后复制

这条SQL语句的逻辑是：先找到每个重复email对应的最小id，然后删除所有id不在这些最小id集合中的记录。

这里需要注意的是，在某些数据库中，你可能不能直接在DELETE语句中使用子查询来查询同一个表。这时候，你可以创建一个临时表来解决这个问题。

CREATE TEMPORARY TABLE tmp_employees AS
SELECT MIN(id) AS min_id
FROM employees
GROUP BY email
HAVING COUNT(*) > 1;

DELETE FROM employees
WHERE id NOT IN (SELECT min_id FROM tmp_employees);

DROP TEMPORARY TABLE tmp_employees;

登录后复制

这个方法先把最小id存到一个临时表里，然后再用这个临时表来删除重复数据。

如何在MySQL中删除重复数据？

MySQL提供了一些特殊的语法，可以更方便地删除重复数据。例如，你可以使用INNER JOIN来实现删除：

DELETE e1 FROM employees e1
INNER JOIN employees e2
ON e1.email = e2.email AND e1.id > e2.id;

登录后复制

这条SQL语句会删除所有email相同，但id较大的记录。

另一种方法是使用ROW_NUMBER()窗口函数，不过这个函数在MySQL 8.0之后才支持。

DELETE FROM employees
WHERE id IN (
    SELECT id FROM (
        SELECT id, ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS row_num
        FROM employees
    ) AS t
    WHERE row_num > 1
);

登录后复制

这个方法首先为每个email分组内的记录分配一个行号，然后删除所有行号大于1的记录。注意，这里需要一个嵌套的子查询，因为MySQL不允许在同一个子查询中同时进行SELECT和DELETE操作。