最直接找重复行的方法是GROUP BY+HAVING:按疑似重复字段分组,用HAVING COUNT(*)>1筛选重复组;若需列出所有重复行,可用ROW_NUMBER()窗口函数标记并过滤rn>1的记录。

用 GROUP BY + HAVING 找出重复的行
最直接的办法是把可能重复的字段组合起来分组,再统计每组出现次数。只要数量大于 1,就是重复数据。
-
GROUP BY后面跟的是你怀疑会重复的列,比如email、user_id或多个字段组合(如first_name, last_name) -
HAVING COUNT(*) > 1是关键:它在分组后过滤,只保留重复组;WHERE不能用在这里,因为它在分组前执行 - 如果想看具体哪些行重复,可以再用子查询或
JOIN关联原表,否则GROUP BY只返回每组一条汇总结果
示例:查出所有重复的邮箱
SELECT email, COUNT(*) AS cnt FROM users GROUP BY email HAVING COUNT(*) > 1;
用窗口函数 ROW_NUMBER() 标记重复记录
当你要完整列出所有重复行(包括区分“第几次出现”),ROW_NUMBER() 比 COUNT() 更灵活。它按指定顺序给每行编号,相同值的行会得到不同序号,方便筛选或去重。
- 必须配合
PARTITION BY使用,分区字段就是你判断重复的依据(如email) -
ORDER BY在每个分区内决定编号顺序,建议用主键或时间字段,避免结果不稳定 - 重复行的
ROW_NUMBER()值会是 2、3、4… 所以WHERE rn > 1就能选出所有“非首次出现”的重复行
示例:标记并查出所有重复邮箱的后续记录
SELECT *
FROM (
SELECT *,
ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS rn
FROM users
) t
WHERE t.rn > 1;用 EXISTS 或 IN 快速判断某条记录是否重复
如果你只是想校验单条记录(比如插入前检查),没必要扫全表。用 EXISTS 效率更高,尤其有索引时。
-
EXISTS只要找到一条匹配就返回 true,不遍历全部;IN遇到 NULL 或子查询结果为空时行为易出错,优先选EXISTS - 确保被查字段(如
email)上有索引,否则即使语句对,性能也会骤降 - 注意 WHERE 条件里别漏掉排除自身的逻辑,比如插入新用户时,要排除
id != ?这类条件,否则自己总会“查到自己”
示例:检查邮箱 'test@example.com' 是否已存在(且不是当前正在编辑的用户)
SELECT EXISTS (
SELECT 1 FROM users
WHERE email = 'test@example.com'
AND id != 123
) AS is_duplicate;唯一约束比查询更可靠,但无法回溯历史重复
靠 SQL 查询找重复,本质是补救。真正防重复,得靠数据库层约束。不过加约束前必须先清理已有重复,否则会失败。
-
ALTER TABLE users ADD CONSTRAINT uk_email UNIQUE (email)是最常用方式;MySQL 中叫UNIQUE KEY,PostgreSQL 和 SQL Server 类似 - 如果字段允许 NULL,多数数据库认为多个 NULL 不违反唯一约束——这点常被忽略,导致“看似加了约束,还是插进去了多条空邮箱”
- 复合唯一约束(如
(category_id, sort_order))很常见,但要注意字段顺序和索引效率,尤其是高并发写入场景
加约束前务必先跑一遍 GROUP BY 查重,不然 ALTER TABLE 会直接报错中断。










