在数据处理和分析中，我们经常需要处理数据集中的重复项。有时，我们的目标是完全删除所有重复项，有时是保留唯一的记录，而另一些情况下，我们可能需要识别并隔离那些重复出现的记录，同时排除掉它们首次出现的实例。例如，在一个客户交易记录表中，我们可能只对客户的后续购买行为感兴趣，而不是他们的首次购买。pandas库提供了强大的工具来高效地完成这类任务。
理解问题：保留后续重复项
假设我们有一个包含客户ID、支付日期和支付金额的DataFrame。我们的目标是筛选出所有client_id列中重复出现的行，但要排除每个client_id首次出现的那一行。
考虑以下示例DataFrame：
| client_id | payment_date | value | |
|---|---|---|---|
| 0 | 067858 | 2021-05-30 | 140.00 |
| 1 | 168226 | 2021-05-30 | 150.00 |
| 2 | 141424 | 2021-05-31 | 100.00 |
| 3 | 141424 | 2021-06-01 | 150.00 |
| 4 | 151525 | 2021-06-01 | 150.00 |
| 5 | 168226 | 2021-06-02 | 115.00 |
| 6 | 067858 | 2021-06-05 | 143.00 |
| 7 | 151525 | 2021-06-07 | 82.00 |
我们期望得到的输出是：
| client_id | payment_date | value | |
|---|---|---|---|
| 3 | 141424 | 2021-06-01 | 150.00 |
| 5 | 168226 | 2021-06-02 | 115.00 |
| 6 | 067858 | 2021-06-05 | 143.00 |
| 7 | 151525 | 2021-06-07 | 82.00 |
解决方案：使用 DataFrame.duplicated() 方法
Pandas提供了一个非常便捷的方法duplicated()，它能够返回一个布尔型Series，指示DataFrame中的每一行是否为重复行。duplicated()方法有一个关键参数keep，它决定了如何处理重复项：
- keep='first' (默认值): 将所有重复项的第一个出现标记为False，其余标记为True。
- keep='last': 将所有重复项的最后一个出现标记为False，其余标记为True。
- keep=False: 将所有重复项（包括第一个和最后一个）都标记为True，只有唯一的行才标记为False。
对于我们当前的需求，即保留除第一个以外的所有重复项，keep='first'（默认行为）正是我们所需要的。
示例代码与步骤
首先，我们创建上述示例DataFrame：
import pandas as pd
# 创建示例DataFrame
data = {
'client_id': ['067858', '168226', '141424', '141424', '151525', '168226', '067858', '151525'],
'payment_date': ['2021-05-30', '2021-05-30', '2021-05-31', '2021-06-01', '2021-06-01', '2021-06-02', '2021-06-05', '2021-06-07'],
'value': [140.00, 150.00, 100.00, 150.00, 150.00, 115.00, 143.00, 82.00]
}
df = pd.DataFrame(data)
df['payment_date'] = pd.to_datetime(df['payment_date']) # 将日期列转换为datetime类型
print("原始DataFrame:")
print(df)
print("-" * 30)输出：
原始DataFrame: client_id payment_date value 0 067858 2021-05-30 140.0 1 168226 2021-05-30 150.0 2 141424 2021-05-31 100.0 3 141424 2021-06-01 150.0 4 151525 2021-06-01 150.0 5 168226 2021-06-02 115.0 6 067858 2021-06-05 143.0 7 151525 2021-06-07 82.0 ------------------------------
接下来，我们对client_id列应用duplicated()方法：
# 应用duplicated()方法，默认keep='first'
# 它会为每个client_id的第一个出现标记为False，后续重复出现标记为True
is_duplicated = df['client_id'].duplicated()
print("duplicated()方法返回的布尔Series:")
print(is_duplicated)
print("-" * 30)输出：
duplicated()方法返回的布尔Series: 0 False 1 False 2 False 3 True 4 False 5 True 6 True 7 True Name: client_id, dtype: bool ------------------------------
从上述输出可以看出：
- client_id为'067858'：第一次出现在索引0，标记为False；第二次出现在索引6，标记为True。
- client_id为'168226'：第一次出现在索引1，标记为False；第二次出现在索引5，标记为True。
- client_id为'141424'：第一次出现在索引2，标记为False；第二次出现在索引3，标记为True。
- client_id为'151525'：第一次出现在索引4，标记为False；第二次出现在索引7，标记为True。
最后，我们使用这个布尔Series进行布尔索引，从而筛选出我们需要的行：
# 使用布尔索引筛选DataFrame
result_df = df[is_duplicated]
print("筛选后的DataFrame (保留除首次出现外的所有重复项):")
print(result_df)输出：
筛选后的DataFrame (保留除首次出现外的所有重复项): client_id payment_date value 3 141424 2021-06-01 150.0 5 168226 2021-06-02 115.0 6 067858 2021-06-05 143.0 7 151525 2021-06-07 82.0
这正是我们期望的输出结果。
扩展应用与注意事项
-
基于多列的重复判断： 如果需要基于多列的组合来判断重复，可以将一个列名列表传递给duplicated()方法的subset参数。例如，如果想找出client_id和payment_date都重复的行（排除首次出现）：
df.duplicated(subset=['client_id', 'payment_date'])
-
保留首次出现或唯一行：
- 要保留所有不重复的行（即每个client_id的首次出现以及所有唯一的client_id），可以使用 df.drop_duplicates(subset=['client_id'], keep='first') 或 df[~df['client_id'].duplicated(keep='first')]。
- 如果需要保留所有重复项的最后一个实例，则使用 df[df['client_id'].duplicated(keep='last')]。
- 如果只希望保留那些在指定列中完全唯一的行（即不包含任何重复的行），可以使用 df[~df['client_id'].duplicated(keep=False)]。
性能考虑： 对于大型数据集，Pandas的duplicated()方法通常非常高效，因为它在C语言级别实现。
总结
pandas.DataFrame.duplicated()方法是处理DataFrame中重复数据的一个强大且灵活的工具。通过巧妙地利用其默认行为（keep='first'）并结合布尔索引，我们可以轻松地筛选出特定列中除首次出现之外的所有重复记录。理解并掌握keep参数的不同选项，将使您在数据清洗和预处理工作中更加得心应手，能够精确地提取或排除所需的数据子集。
