SQL 字符串函数如何实现字符串去重？-SQL-PHP中文网

SQL 字符串函数如何实现字符串去重？

舞姬之光

发布： 2025-10-12 14:03:01

原创

735人浏览过

答案：SQL无直接字符串去重函数，需组合使用拆分、去重、合并方法；PostgreSQL可用string_to_array与string_agg，MySQL可借递归或自定义函数处理。

sql 字符串函数如何实现字符串去重？

SQL 中没有直接的内置字符串函数可以实现“字符串去重”（比如去除一个字段中重复的字符或子串），但可以通过组合使用多种字符串函数和逻辑处理来实现。具体方法取决于你的需求：是去除单个字符串中重复的字符，还是从多行中去除重复记录？下面针对常见的“字符串内容去重”场景进行说明。

1. 去除字符串中重复的字符（如 'aabbcc' → 'abc'）

假设你有一个字段值为 'aabbcc'，希望去除重复字母，只保留唯一字符。这类操作在标准 SQL 中较复杂，但在支持高级字符串处理的数据库中可实现。

以 PostgreSQL 为例：

使用 unnest(string_to_array()) 拆分字符串，用 DISTINCT 去重，再用 string_agg() 合并。

<font face="Courier New,Courier,Monospace">SELECT string_agg(DISTINCT c, '' ORDER BY c) AS deduped
FROM unnest(string_to_array('aabbcc', NULL)) AS c;</font>

登录后复制

结果：'abc'

在 MySQL 8.0+ 中：

可结合 CTE 和递归方式逐字符处理，或使用 JSON 函数辅助拆分，但较为繁琐。

2. 去除字段中重复的子串（如 'apple,apple,banana' → 'apple,banana'）

常见于逗号分隔的标签或列表字段。目标是将 'apple,apple,banana' 转为 'apple,banana'。

PostgreSQL 示例：

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

查看详情

<font face="Courier New,Courier,Monospace">SELECT string_agg(DISTINCT trim(unnest), ',' ORDER BY trim(unnest))
FROM unnest(string_to_array('apple,apple,banana', ','));</font>

登录后复制

使用 string_to_array 拆分，unnest 展开，trim 去空格，DISTINCT 去重，最后用 string_agg 重组。

MySQL 示例（8.0+ 使用 JSON 函数模拟）：

较复杂，通常建议在应用层处理，或借助存储过程逐个分割、去重、拼接。

3. 多行数据中对字符串字段去重（行级去重）

如果你是指从表中去除重复的字符串记录，使用 DISTINCT 或 GROUP BY 更合适。

<font face="Courier New,Courier,Monospace">SELECT DISTINCT name FROM users;</font>

登录后复制

这会返回唯一的 name 值，去除重复行。

4. 自定义函数实现通用去重（以 MySQL 为例）

可以创建函数处理逗号分隔字符串的去重：

<font face="Courier New,Courier,Monospace">DELIMITER $$
CREATE FUNCTION dedup_string(input TEXT)
RETURNS TEXT
READS SQL DATA
DETERMINISTIC
BEGIN
  DECLARE result TEXT DEFAULT '';
  DECLARE current_word VARCHAR(255);
  DECLARE done INT DEFAULT 0;
  DECLARE cur CURSOR FOR SELECT DISTINCT TRIM(word) FROM 
    (SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(input, ',', numbers.n), ',', -1) word
     FROM (SELECT 1 n UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5) numbers
     WHERE numbers.n <= 1 + (LENGTH(input) - LENGTH(REPLACE(input, ',', '')))
    ) t
    WHERE word != '';
  DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = 1;
<p>OPEN cur;
read_loop: LOOP
FETCH cur INTO current_word;
IF done THEN LEAVE read_loop; END IF;
IF result = '' THEN
SET result = current_word;
ELSE
SET result = CONCAT(result, ',', current_word);
END IF;
END LOOP;
CLOSE cur;
RETURN result;
END$$
DELIMITER ;</font>

登录后复制

调用：SELECT dedup_string('apple,apple,banana'); 返回 'apple,banana'。

基本上就这些方法。不同数据库支持程度不同，PostgreSQL 处理此类问题更灵活，MySQL 需要更多手动实现。核心思路是：拆分 → 去重 → 合并。根据实际环境选择合适方案。

以上就是SQL 字符串函数如何实现字符串去重？的详细内容，更多请关注php中文网其它相关文章！