如何在Linux中去除重复行 Linux uniq相邻去重实战-linux运维-PHP中文网

答案：在Linux中去除重复行最有效的方法是结合sort和uniq命令。由于uniq只能去除相邻的重复行，因此必须先使用sort命令将相同内容的行聚集在一起。例如，执行sort data.txt | uniq可实现完整去重，等效的简洁写法为sort -u data.txt。此外，uniq支持多种参数扩展功能：-c统计行出现次数，-d仅显示重复行，-u仅显示唯一行，-i忽略大小写，-f跳过前N个字段，-s跳过前N个字符。对于大文件，可通过sort -S指定内存缓冲区或-T指定临时目录优化性能。超大规模数据建议使用Spark、Hadoop或数据库的DISTINCT功能。

如何在linux中去除重复行 linux uniq相邻去重实战

在Linux中去除重复行，最核心且常用的工具是

uniq

登录后复制

命令。不过，单独使用

uniq

登录后复制

往往不够，因为它只处理“相邻”的重复行。所以，真正的实战中，你几乎总是会把它和

sort

登录后复制

命令结合起来使用，先排序让所有相同的行聚在一起，然后再交给

uniq

登录后复制

去重。这就像是先整理好一堆乱七八糟的纸张，再把重复的挑出来。

解决方案

要高效地在Linux中去除文件中的重复行，最经典的组合拳就是

sort

登录后复制

和

uniq

登录后复制

。

假设你有一个名为

data.txt

登录后复制

的文件，内容如下：

apple
banana
apple
orange
banana
grape

登录后复制

基本去重：

如果你直接对

data.txt

登录后复制

使用

uniq data.txt

登录后复制

，你会发现它并不能完全去除所有重复的行，因为它只会去除连续出现的重复行。比如，上面的文件，

uniq

登录后复制

处理后可能还是：

apple
banana
apple
orange
banana
grape

登录后复制

这是因为第一个

apple

登录后复制

和第二个

apple

登录后复制

之间隔着一个

banana

登录后复制

，它们不相邻。

所以，正确的做法是先用

sort

登录后复制

命令将文件内容排序，让所有相同的行都紧挨着，然后再通过管道符

登录后复制

将排序后的结果传递给

uniq

登录后复制

。

sort data.txt | uniq

登录后复制

执行这个命令后，输出会是：

apple
banana
grape
orange

登录后复制

这就达到了我们想要的效果。

如果你想直接将去重后的结果保存到新文件，可以这样：

sort data.txt | uniq > unique_data.txt

登录后复制

一个更简洁的技巧：

其实，

sort

登录后复制

命令本身就有一个

-u

登录后复制

（或

--unique

登录后复制

）选项，可以直接在排序的同时去除重复行，省去了再接

uniq

登录后复制

的步骤。我个人平时更喜欢用这个，因为它更直观，少敲一个命令。

sort -u data.txt

登录后复制

这个命令会得到和

sort data.txt | uniq

登录后复制

完全一样的结果。选择哪个，看个人习惯和场景吧。有时为了展示每一步，我会分开写

sort | uniq

登录后复制

，但实际操作中

sort -u

登录后复制

效率上没啥区别，而且更简洁。

uniq

登录后复制

到底是怎么工作的？它和

sort

登录后复制

有什么关系？

说实话，第一次接触

uniq

登录后复制

的时候，我也曾疑惑它为什么不直接把所有重复的都去了。后来才明白，它的设计哲学其实很简单：只关注“当下”和“过去”。具体来说，

uniq

登录后复制

命令在处理输入时，会逐行读取，并且只会将当前行与它紧邻的前一行进行比较。如果这两行内容完全相同，那么当前行就会被丢弃；如果不同，当前行就会被输出。

这就是为什么我前面强调它只能处理“相邻”重复行的原因。举个例子，如果你的文件是这样：

cat
dog
cat
cat
bird

登录后复制

当你直接

uniq

登录后复制

它时，输出会是：

cat
dog
cat
bird

登录后复制

你看，第二个

cat

登录后复制

和第三个

cat

登录后复制

是相邻的，所以第三个

cat

登录后复制

被去掉了。但第一个

cat

登录后复制

和第二个

cat

登录后复制

之间隔着

dog

登录后复制

，它们不相邻，所以

uniq

登录后复制

不会认为第二个

cat

登录后复制

是第一个

cat

登录后复制

的重复。

降重鸟

要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。

113

查看详情

这就是

sort

登录后复制

登场的原因了。

sort

登录后复制

命令的任务就是把文件中的所有行按照一定的规则（默认是字典序）进行排列。当所有相同的行都被

sort

登录后复制

安排得紧紧挨在一起时，

uniq

登录后复制

的工作就变得异常简单和高效了。它只需要机械地检查相邻行，就能完美地完成去重任务。可以说，

sort

登录后复制

为

uniq

登录后复制

创造了理想的工作环境。它们俩简直就是天作之合，一个负责整理，一个负责清理。

除了简单去重，

uniq

登录后复制

还能做些什么？常见参数解析

uniq

登录后复制

命令可不是个“傻大个”，它还有一些很实用的参数，能让它在数据分析中发挥更大的作用。这些参数能帮助我们不仅仅是去重，还能统计、筛选。

```
-c
```
登录后复制
(count)：统计重复行出现的次数 这个参数我用得特别多。它会在每行前面加上该行出现的次数。这对于分析数据中哪些项出现频率最高非常有用。
```
sort data.txt | uniq -c
```
登录后复制
对于
```
data.txt
```
登录后复制
(apple, banana, apple, orange, banana, grape)，输出会是：
```
      2 apple
      2 banana
      1 grape
      1 orange
```
登录后复制
可以看到，
```
apple
```
登录后复制
和
```
banana
```
登录后复制
各出现了两次。
```
-d
```
登录后复制
(duplicated)：只显示重复的行 如果你只想知道哪些行是重复的（并且只显示一次），而不是所有唯一的行，
```
-d
```
登录后复制
就派上用场了。
```
sort data.txt | uniq -d
```
登录后复制
输出：
```
apple
banana
```
登录后复制
它只会列出那些在原始文件中出现过多次的行，每行只显示一次。
```
-u
```
登录后复制
(unique)：只显示不重复的行 与
```
-d
```
登录后复制
相反，
```
-u
```
登录后复制
会只显示那些在文件中只出现过一次的行。
```
sort data.txt | uniq -u
```
登录后复制
输出：
```
grape
orange
```
登录后复制
这对于找出文件中真正的“独一份”数据很有帮助。
```
-i
```
登录后复制
(ignore-case)：忽略大小写 在比较行时，忽略字母的大小写。这在处理用户输入或不规范数据时非常实用。
```
# 假设文件内容有 Apple 和 apple
sort -f data.txt | uniq -i
```
登录后复制
注意，这里
```
sort
```
登录后复制
也用了
```
-f
```
登录后复制
来进行大小写不敏感的排序，否则
```
uniq -i
```
登录后复制
可能会因为排序问题而漏掉一些去重。
```
-f N
```
登录后复制
(skip-fields)：跳过前N个字段 这个参数在处理结构化数据时非常强大。它会忽略每行的前 N 个字段进行比较。字段默认由空格分隔。
```
# 假设文件内容是：
# 2023-01-01 apple
# 2023-01-02 banana
# 2023-01-03 apple
# 2023-01-04 banana
sort -k 2,2 file_with_dates.txt | uniq -f 1
```
登录后复制
这里
```
sort -k 2,2
```
登录后复制
是按第二个字段排序，然后
```
uniq -f 1
```
登录后复制
忽略第一个字段（日期）进行去重。
```
-s N
```
登录后复制
(skip-chars)：跳过前N个字符 与
```
-f
```
登录后复制
类似，但它是跳过前 N 个字符，而不是字段。
```
# 假设文件内容是：
# ID12345_dataA
# ID12345_dataB
# ID67890_dataA
sort file.txt | uniq -s 6 # 忽略前6个字符（"ID12345_"）
```
登录后复制
这在处理有固定前缀但后缀不同的数据时很有用。

这些参数的组合使用，能让

uniq

登录后复制

变得非常灵活，远不止简单的去重那么单调。

遇到大文件去重，性能和内存是挑战吗？有没有更高效的办法？

当处理非常大的文件，比如几十GB甚至TB级别的文件时，

sort | uniq

登录后复制

组合确实会面临一些挑战。这主要是因为

sort

登录后复制

命令在处理大文件时，如果文件内容无法完全加载到内存中，它会使用磁盘作为临时存储空间（所谓的“外部排序”）。这意味着大量的磁盘I/O操作，这会显著降低处理速度。此外，如果你的系统内存不足，

sort

登录后复制

可能会频繁地在内存和磁盘之间交换数据，进一步拖慢速度。CPU的负担也会相应增加。

所以，对于超大文件，我们确实需要考虑一些更高效或者说更适合大规模数据处理的策略：

优化
```
sort
```
登录后复制
命令本身：
- 增加内存缓冲区：
```
sort
```
  登录后复制
  有一个
```
-S
```
  登录后复制
  参数可以指定排序时使用的内存大小。例如
```
sort -S 2G file.txt | uniq
```
  登录后复制
  会告诉
```
sort
```
  登录后复制
  使用2GB内存进行排序。如果你的系统有足够的空闲内存，适当增加这个值可以减少磁盘I/O。
- 指定临时目录：
```
sort
```
  登录后复制
  默认在
```
/tmp
```
  登录后复制
  目录创建临时文件。如果
```
/tmp
```
  登录后复制
  目录所在的磁盘速度较慢，或者空间不足，你可以通过
```
-T
```
  登录后复制
  参数指定一个更快、空间更大的临时目录，比如
```
sort -T /mnt/ssd_temp -u large_file.txt
```
  登录后复制
  。
分块处理（如果可行）： 如果你的数据可以逻辑上分成多个独立的部分，并且去重可以在每个部分内独立进行，最后再合并去重，那么可以考虑分块处理。但这通常比较复杂，需要自定义脚本来管理。对于通用的去重场景，这不常见。
使用专门的大数据工具： 对于真正意义上的“大数据”，比如TB级别的文件，传统的命令行工具可能会力不从心。这时候，更专业的工具或平台会是更好的选择：
- Apache Spark/Hadoop： 这些分布式计算框架天生就是为处理大规模数据而设计的。它们可以将数据分散到多台机器上并行处理，去重只是它们众多功能中的一个。如果你已经在使用这些平台，那么使用它们内置的去重功能（如Spark RDD/DataFrame的
```
distinct()
```
  登录后复制
  方法）会比在单机上折腾
```
sort | uniq
```
  登录后复制
  高效得多。
- 数据库系统： 如果数据最终要存储在数据库中，那么直接将数据导入数据库（比如PostgreSQL, MySQL, MongoDB等），然后利用SQL的
```
DISTINCT
```
  登录后复制
  关键字或者创建唯一索引来去重，也是一个非常高效且可靠的方法。
哈希表/Bloom Filter（针对特定场景）： 对于某些场景，如果你只需要知道某个元素是否“可能”存在，或者可以容忍极低的误判率，那么可以考虑使用Bloom Filter。它是一种空间效率很高的数据结构，可以快速判断一个元素是否在集合中。但它不能提供精确的去重，也无法直接输出去重后的文件。这更多是理论上的优化，实际命令行操作中很少直接用到。