python pandas如何删除重复行_pandas drop_duplicates()函数去重方法

import pandas as pd
import numpy as np

# 创建一个包含重复数据的DataFrame
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'qux', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'one'],
    'C': [1, 2, 1, 3, 2, 1]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

# 使用drop_duplicates()删除重复行
# 默认：检查所有列，保留第一次出现的重复行
df_deduplicated = df.drop_duplicates()
print("\n去重后的DataFrame (默认):")
print(df_deduplicated)

# 假设我们只想根据'A'列和'B'列的组合来去重
# 比如，我们认为('foo', 'one')这个组合出现多次就算重复
df_subset_deduplicated = df.drop_duplicates(subset=['A', 'B'])
print("\n根据'A'和'B'列去重后的DataFrame:")
print(df_subset_deduplicated)

# 原始数据
#    A      B  C
# 0  foo    one  1
# 1  bar    one  2
# 2  foo    two  1
# 3  bar  three  3
# 4  qux    two  2
# 5  foo    one  1  <-- ('foo', 'one')重复

# 结果会保留第一条 ('foo', 'one')，删除第六条

# 创建一个包含重复数据的DataFrame，这次我们让重复行有点差异，便于观察
data_keep = {
    'ID': [1, 2, 1, 3, 2, 1],
    'Value': ['A', 'B', 'C', 'D', 'E', 'F'],
    'Timestamp': [10, 20, 30, 40, 50, 60] # 模拟时间戳
}
df_keep = pd.DataFrame(data_keep)
print("\n原始DataFrame (含时间戳):")
print(df_keep)

# 根据'ID'列去重，保留第一次出现的记录
df_first = df_keep.drop_duplicates(subset=['ID'], keep='first')
print("\n根据'ID'去重，保留'first':")
print(df_first)
# ID 1, Value A, Timestamp 10 会被保留

# 根据'ID'列去重，保留最后一次出现的记录
df_last = df_keep.drop_duplicates(subset=['ID'], keep='last')
print("\n根据'ID'去重，保留'last':")
print(df_last)
# ID 1, Value F, Timestamp 60 会被保留

# 根据'ID'列去重，删除所有重复的记录 (只有ID=3是唯一的)
df_false = df_keep.drop_duplicates(subset=['ID'], keep=False)
print("\n根据'ID'去重，删除所有重复的记录 (keep=False):")
print(df_false)
# 只有ID=3的记录会被保留

# 假设我们有一个DataFrame
df_original = pd.DataFrame({'col1': [1, 2, 1], 'col2': ['A', 'B', 'A']})
print("原始DataFrame:")
print(df_original)

# 尝试去重，但不赋值
df_original.drop_duplicates()
print("\n去重操作后，但未赋值的原始DataFrame:")
print(df_original) # 发现df_original并没有改变

# 正确的做法：将去重结果赋值给一个新变量或覆盖原变量
df_deduplicated_new = df_original.drop_duplicates()
print("\n赋值给新变量后的去重DataFrame:")
print(df_deduplicated_new)

# 或者，使用inplace=True直接修改原始DataFrame
df_original_inplace = pd.DataFrame({'col1': [1, 2, 1], 'col2': ['A', 'B', 'A']})
print("\n使用inplace=True前的DataFrame:")
print(df_original_inplace)
df_original_inplace.drop_duplicates(inplace=True)
print("\n使用inplace=True后的DataFrame:")
print(df_original_inplace) # df_original_inplace已被修改

df_indexed = pd.DataFrame({'col1': [1, 2, 1, 3], 'col2': ['A', 'B', 'A', 'C']})
print("\n去重前，有重复索引的DataFrame:")
print(df_indexed)

# 默认去重，不重置索引
df_default_index = df_indexed.drop_duplicates()
print("\n默认去重 (索引未重置):")
print(df_default_index)
# 索引会是 0, 1, 3

# 去重并重置索引
df_reset_index = df_indexed.drop_duplicates(ignore_index=True)
print("\n去重并重置索引 (ignore_index=True):")
print(df_reset_index)
# 索引会是 0, 1