可直接用set去除重复datetime对象,因datetime可哈希,转集合后转回列表即可;2. 若数据在DataFrame中,使用drop_duplicates方法指定时间列去重;3. 对于含毫秒误差的近似时间,先通过replace归一化到秒级再用set去重。根据数据结构选择对应方法。

在 Python3 中,如果你有一组包含 datetime 类型的时间数据,并希望去除重复项,可以直接利用集合(set)或 pandas 的去重功能,具体方法取决于你的数据结构。
1. 使用 set 去除重复 datetime 对象
如果只是单纯的 datetime 对象列表,由于 datetime 是可哈希的,可以直接转为集合再转回列表:
from datetime import datetimetimes = [ datetime(2023, 10, 1, 12, 0), datetime(2023, 10, 1, 12, 0), # 重复 datetime(2023, 10, 2, 14, 30), datetime(2023, 10, 1, 12, 0), # 重复 ]
unique_times = list(set(times)) print(sorted(unique_times)) # 推荐排序后查看结果
2. 使用 pandas 去除含 datetime 的数据重复
如果你的数据是 DataFrame 中的一列时间,常用 drop_duplicates() 方法:
import pandas as pd from datetime import datetimedf = pd.DataFrame({ 'timestamp': [ datetime(2023, 10, 1, 12, 0), datetime(2023, 10, 1, 12, 0), datetime(2023, 10, 2, 14, 30), ], 'value': [100, 100, 200] })
df_clean = df.drop_duplicates(subset=['timestamp']) print(df_clean)
3. 处理近似时间(考虑精度误差)
有时时间看似不同,实则是浮点误差或毫秒差异导致。可先归一化到指定精度(如秒)再去重:
立即学习“Python免费学习笔记(深入)”;
# 将 datetime 截断到秒级
def truncate_to_second(dt):
return dt.replace(microsecond=0)
times_with_ms = [
datetime(2023, 10, 1, 12, 0, 0, 123456),
datetime(2023, 10, 1, 12, 0, 0, 789000),
datetime(2023, 10, 2, 14, 30),
]
truncated = [truncate_to_second(t) for t in times_with_ms]
unique_truncated = list(set(truncated))
print(sorted(unique_truncated))
基本上就这些。根据你的时间数据形式选择合适方式:纯列表用 set,DataFrame 用 drop_duplicates,有精度问题就先标准化再处理。











