Pandas DataFrame 中高效去除重复项并保留指定数量的最新记录-Python教程-PHP中文网

Pandas DataFrame 中高效去除重复项并保留指定数量的最新记录

花韻仙語

发布： 2025-09-05 16:21:26

原创

1020人浏览过

pandas dataframe 中高效去除重复项并保留指定数量的最新记录

本文档旨在介绍如何使用 Pandas DataFrame 有效地过滤掉重复项，并为每个重复组保留指定数量的最新记录。我们将演示如何根据特定列识别重复项，并利用 groupby() 和 tail() 函数实现高效的数据筛选，特别适用于大型数据集。

在数据分析和处理中，经常需要处理包含重复项的数据集。有时，我们需要识别这些重复项并将其删除，但同时希望保留每个重复组中的一部分记录（例如，最新的几条记录）。 Pandas 提供了强大的工具来实现这一目标，尤其是在处理大型数据集时，效率至关重要。

以下是如何使用 Pandas 实现此操作的详细步骤和示例：

1. 导入 Pandas 库

首先，确保你已经安装了 Pandas 库。如果没有，可以使用 pip install pandas 命令进行安装。然后，在你的 Python 脚本中导入 Pandas：

import pandas as pd

登录后复制

2. 创建或加载 DataFrame

为了演示，我们创建一个示例 DataFrame，类似于问题中提供的结构：

data = {
    'id': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'first_name': ['John', 'John', 'John', 'Mark', 'John', 'Mark', 'John', 'Mark', 'Mark', 'John'],
    'last_name': ['Doe', 'Doe', 'Doe', 'Kay', 'Doe', 'Kay', 'Doe', 'Kay', 'Kay', 'Doe'],
    'sex': ['Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male'],
    'country': ['USA', 'Canada', 'Mexico', 'Italy', 'Spain', 'France', 'Peru', 'India', 'Laos', 'Benin']
}

df = pd.DataFrame(data)
print(df)

登录后复制

3. 根据特定列排序 DataFrame

为了确保我们保留的是每个重复组中最新的记录，我们需要根据一个能区分记录顺序的列（例如，id 列）对 DataFrame 进行排序。通常，id 越大，记录越新。

降重鸟

要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。

113

查看详情

df = df.sort_values(by='id')
print(df)

登录后复制

4. 使用 groupby() 和 tail() 删除重复项并保留最新记录

这是核心步骤。我们使用 groupby() 方法根据需要识别重复项的列（例如，first_name、last_name 和 sex）对 DataFrame 进行分组。然后，对于每个组，我们使用 tail(n) 方法选择最后 n 条记录，其中 n 是要保留的记录数。在这个例子中，我们保留每组的最后 3 条记录。

result_df = df.groupby(['first_name', 'last_name', 'sex']).tail(3)
print(result_df)

登录后复制

5. 重置索引（可选）

分组和筛选操作可能会导致索引不连续。如果需要，可以重置索引以使其连续：

result_df = result_df.reset_index(drop=True)
print(result_df)

登录后复制

完整代码示例

import pandas as pd

# 示例 DataFrame
data = {
    'id': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'first_name': ['John', 'John', 'John', 'Mark', 'John', 'Mark', 'John', 'Mark', 'Mark', 'John'],
    'last_name': ['Doe', 'Doe', 'Doe', 'Kay', 'Doe', 'Kay', 'Doe', 'Kay', 'Kay', 'Doe'],
    'sex': ['Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male'],
    'country': ['USA', 'Canada', 'Mexico', 'Italy', 'Spain', 'France', 'Peru', 'India', 'Laos', 'Benin']
}

df = pd.DataFrame(data)

# 排序
df = df.sort_values(by='id')

# 分组并保留最后 3 条记录
result_df = df.groupby(['first_name', 'last_name', 'sex']).tail(3)

# 重置索引
result_df = result_df.reset_index(drop=True)

# 打印结果
print(result_df)

登录后复制

注意事项和总结

排序的重要性： 在使用 tail() 方法之前，务必根据合适的列对 DataFrame 进行排序，以确保保留的是最新的记录。如果不排序，则保留的将是每个组中的最后 n 条记录，但这可能不是你想要的。
内存使用： 对于非常大的数据集，groupby() 操作可能会占用大量内存。如果遇到内存问题，可以考虑使用 Dask 或其他分布式计算框架。
性能优化： groupby() 和 tail() 方法通常已经非常高效。但是，如果性能仍然是瓶颈，可以尝试使用 Cython 或 Numba 等工具来加速代码。
灵活性： 此方法非常灵活，可以轻松地调整要分组的列以及要保留的记录数。
替代方案： 虽然问题中提到了使用 Spark 的 Window 函数，但对于 Pandas DataFrame，groupby() 和 tail() 通常是更简洁和高效的解决方案。