核心应在SQL层用DISTINCT或GROUP BY去重,PHP仅执行查询;DISTINCT适用于只需唯一值且不关心其他字段的场景,GROUP BY则支持聚合计算;避免用array_unique()处理全量数据,以防性能浪费。

PHP 查询数据去重,核心不在 PHP 本身,而在 SQL 层用 DISTINCT 或 GROUP BY 控制结果集。PHP 只负责执行查询、获取结果,不承担“去重逻辑”的计算职责。
什么时候该用 DISTINCT?
当你只需要「某列(或几列组合)的唯一值」,且不关心原始行的其他字段时,DISTINCT 最直接。比如查所有不重复的用户城市:
SELECT DISTINCT city FROM users;
注意:DISTINCT 作用于整行结果。下面这句查的是 name 和 city 组合去重,不是只对 name 去重:
SELECT DISTINCT name, city FROM users;
- 如果两行
name相同但city不同,它们都会保留 -
DISTINCT不能配合ORDER BY中未出现在 SELECT 列表里的字段(MySQL 5.7+ 严格模式会报错) - 性能上,
DISTINCT本质是 GROUP BY + 隐式排序,大数据量时可能触发临时表和文件排序
GROUP BY 比 DISTINCT 更灵活的场景
当你要去重的同时,还要聚合信息(比如每个城市的用户数、最新注册时间),就必须用 GROUP BY:
立即学习“PHP免费学习笔记(深入)”;
SELECT city, COUNT(*) AS user_count, MAX(created_at) AS last_login FROM users GROUP BY city;
-
GROUP BY允许你在去重维度(如city)基础上,安全使用聚合函数(COUNT、MAX、MIN等) - 不能在
SELECT中写非分组字段(除非用聚合函数包裹),否则 MySQL 8.0+ 默认拒绝执行 - 若只想去重又不想排序,可加
ORDER BY NULL避免隐式排序开销
PHP 中不要用 array_unique() 对查询结果去重
这是常见误区:先 SELECT * 拿回全部数据,再用 PHP 的 array_unique() 处理。问题很实际:
- 数据库本可一步返回 100 行,你却拉回 10000 行再过滤,浪费带宽和内存
-
array_unique()默认只比较值,对多维数组需用SORT_REGULAR或自定义回调,极易出错 - 无法利用数据库索引加速去重,纯靠 PHP 单线程遍历,延迟翻倍
- 若字段含
NULL、浮点数、对象等,array_unique()行为不可控
真需要 PHP 层后处理时,怎么安全去重?
极少数情况(比如合并多个查询结果、或业务逻辑强制要求 PHP 计算),必须用 PHP 去重,请按字段组合构造唯一键:
$unique = [];
foreach ($rows as $row) {
$key = $row['user_id'] . '|' . $row['product_id'];
if (!isset($unique[$key])) {
$unique[$key] = $row;
}
}
$deduped = array_values($unique);
- 避免直接对整个
$row数组做serialize()作 key —— 性能差、且顺序敏感 - 字符串拼接 key 要确保分隔符不会出现在字段值中(或改用
spl_object_hash()+ 自定义比较) - 若字段可能为
null,先用strval()统一转字符串,防止NULL拼接出意外结果
真正要警惕的,不是语法怎么写,而是把去重责任从数据库推给 PHP —— 这通常意味着查询设计没想清楚,或者没意识到数据库才是最高效、最可靠的数据筛选引擎。











