Pandas DataFrame中识别并提取多重重复值行的高级技巧

1. 引言与问题场景

在数据处理和分析中，我们经常会遇到需要识别数据集中特定模式的情况。一个常见的需求是找出dataframe中那些在同一行内（指定列范围）包含重复数值的行。例如，在一个包含多个数值列的dataframe中，我们可能想知道哪些行的num1到num7列之间存在相同的数字，并进一步提取这些行的数据，或者仅仅提取出那些重复的数值本身。

考虑以下示例DataFrame，其中Row_Num是行标识符，Num1到Num7是需要检查的数值列：

import numpy as np
import pandas as pd

df = pd.DataFrame([[1,1,2,4,5,6,7,7],
            [2,5,6,7,22,23,34,48],
            [3,3,5,6,7,45,46,48],
            [4,6,7,14,29,32,6,29], # 行4包含重复值 6 和 29
            [5,6,7,13,23,33,35,7], # 行5包含重复值 7
            [6,1,6,7,8,9,10,8],
            [7,0,2,5,7,19,7,5]], # 行7包含重复值 7 和 5
            columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])

print("原始DataFrame:")
print(df)

我们的目标是识别出行4和行7，并根据需求返回不同的结果集。

2. 核心方法：利用 pd.duplicated() 进行行内重复值检测

Pandas的duplicated()方法通常用于检测DataFrame或Series中的重复项。当应用于Series时，它会标记重复值；当应用于DataFrame并指定axis=1时，它可以在行级别上检测列值是否重复。

首先，为了方便后续的数据筛选和索引，我们将Row_Num列设置为DataFrame的索引：

df_indexed = df.set_index('Row_Num')
print("\n设置Row_Num为索引后的DataFrame:")
print(df_indexed)

接下来，我们使用transform结合duplicated()来生成一个布尔型DataFrame，其中True表示该位置的数值在当前行中是重复的：

df_duplicated = df_indexed.transform(lambda x: x.duplicated(), axis=1)
print("\n行内重复值布尔掩码DataFrame:")
print(df_duplicated)

在这个df_duplicated中，True表示该列的值在当前行中已经出现过。例如，对于Row_Num为4的行，Num6和Num7被标记为True，因为它们的值（6和29）在Num1到Num5中已经出现。

降重鸟

要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。

113

查看详情

3. 提取结果一：返回非重复值部分

如果我们的需求是返回那些包含多重重复值的行，但只保留这些行中非重复的数值（即排除掉被标记为重复的那些列），我们可以这样做：

1. 识别包含多重重复值的行： 通过计算df_duplicated每行True的数量，如果大于等于2（即至少有两个重复值），则筛选出这些行。
2. 筛选非重复列： 在这些被选中的行中，使用~df_duplicated（即布尔掩码的反向）来选择那些在行内不是重复项的列。
3. 清理空列： 最后，使用dropna(axis=1)移除那些在筛选后可能完全由NaN组成的列。

# 筛选出至少有两个重复值的行
rows_with_multiple_duplicates = df_duplicated.sum(axis=1) >= 2

# 对于这些行，选择非重复的列
res1 = df_indexed[rows_with_multiple_duplicates][~df_duplicated[rows_with_multiple_duplicates]].dropna(axis=1)

print("\n结果1：返回包含多重重复值的行，仅保留非重复部分")
print(res1)

输出解释： 对于Row_Num为4的行，原始数据是[6,7,14,29,32,6,29]。其中6和29是重复的。res1返回[6,7,14,29,32]，即去除了作为第二次出现的6和29。 对于Row_Num为7的行，原始数据是[0,2,5,7,19,7,5]。其中7和5是重复的。res1返回[0,2,5,7,19]，即去除了作为第二次出现的7和5。

4. 提取结果二：仅返回重复值部分

如果我们的需求是仅返回那些在行内被标记为重复的数值，我们可以使用类似的逻辑：

1. 识别包含多重重复值的行： 同上，筛选出df_duplicated.sum(axis=1) >= 2的行。
2. 筛选重复列： 在这些被选中的行中，直接使用df_duplicated来选择那些在行内被标记为重复项的列。
3. 清理空列： 使用dropna(axis=1)移除可能产生的全NaN列。

# 对于这些行，选择重复的列
res2 = df_indexed[rows_with_multiple_duplicates][df_duplicated[rows_with_multiple_duplicates]].dropna(axis=1)

print("\n结果2：返回包含多重重复值的行，仅保留重复部分")
print(res2)

输出解释： 对于Row_Num为4的行，原始数据是[6,7,14,29,32,6,29]。其中Num6的值6和Num7的值29是重复项。res2返回[6,29]。 对于Row_Num为7的行，原始数据是[0,2,5,7,19,7,5]。其中Num6的值7和Num7的值5是重复项。res2返回[7,5]。

5. 结果优化与注意事项

为了使输出结果与最初的需求示例完全匹配（例如，将Row_Num从索引恢复为列，并重命名列），我们可以进行额外的操作：

# 结果1的优化（如果需要将Row_Num作为普通列）
final_res1 = res1.reset_index()
print("\n优化后的结果1:")
print(final_res1)

# 结果2的优化（如果需要将Row_Num作为普通列并重命名列）
final_res2 = res2.reset_index()
# 可以根据需要重命名列，例如：
final_res2.columns = ['Row_Num'] + [f'Duplicate_{i+1}' for i in range(final_res2.shape[1]-1)]
print("\n优化后的结果2:")
print(final_res2)

注意事项：

• set_index() 的使用： 将Row_Num设置为索引是为了方便在布尔索引时直接操作行，并避免Row_Num自身被duplicated()检测。如果Row_Num也可能包含重复值且需要被检测，则不应将其设为索引，而应在df.transform之前从待检测列中排除。
• dropna(axis=1) 的作用： 在布尔筛选后，有些列可能在所有选定的行中都变为NaN（因为它们不是重复项或不是非重复项），dropna(axis=1)可以清除这些完全为空的列，使结果更简洁。
• 灵活性： 这种方法非常灵活，可以根据df_duplicated.sum(axis=1)的条件调整，例如，查找包含特定数量重复值的行。

6. 总结

本教程展示了如何利用Pandas的duplicated()方法结合transform和布尔索引，有效地识别DataFrame中每行内包含多重相同值的行。通过分步操作，我们不仅能够找出这些特殊的行，还能根据具体分析需求，灵活地提取出原始行中非重复的数值部分，或者仅仅聚焦于那些被识别为重复的数值。这种方法为数据清洗、异常检测和特定模式识别提供了强大的工具。

以上就是Pandas DataFrame中识别并提取多重重复值行的高级技巧的详细内容，更多请关注php中文网其它相关文章！