使用Pandas高效筛选日期范围数据的教程-Python教程-PHP中文网

使用Pandas高效筛选日期范围数据的教程

霞舞

发布： 2025-10-03 14:00:19

原创

293人浏览过

使用Pandas高效筛选日期范围数据的教程

本教程旨在指导用户如何使用Pandas库高效地根据日期范围筛选DataFrame中的数据。我们将重点介绍将日期列正确转换为datetime类型的重要性，并通过布尔索引结合日期字符串或Timestamp对象来实现灵活的数据筛选，避免常见的KeyError和TypeError，从而提升数据处理的准确性和效率。

引言：Pandas中日期数据筛选的挑战

在数据分析中，根据日期或时间范围筛选数据是常见的操作。然而，对于初学者来说，在pandas dataframe中处理日期数据时，可能会遇到诸如keyerror或typeerror等问题，尤其是在尝试直接比较日期字符串或误解datetime对象结构时。本教程将提供一个清晰、专业的指南，帮助您掌握在pandas中高效、准确地筛选日期范围数据的方法。

1. 数据准备与日期列类型转换

在进行日期筛选之前，最关键的一步是确保您的日期列被Pandas识别为datetime类型。如果日期列是对象（object）类型（通常是字符串），直接进行日期比较可能会导致非预期结果或错误。

首先，让我们创建一个示例DataFrame：

import pandas as pd

# 创建一个包含日期和其他数据的示例DataFrame
data = {
    'todays_date': ['04-20-20', '04-20-21', '03-23-23', '03-24-23', '11-12-23', '01-01-24'],
    'other_data': ['A', 'B', 'C', 'D', 'E', 'F']
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("\n原始日期列类型:")
print(df['todays_date'].dtype)

登录后复制

输出：

原始DataFrame:
  todays_date other_data
0    04-20-20          A
1    04-20-21          B
2    03-23-23          C
3    03-24-23          D
4    11-12-23          E
5    01-01-24          F

原始日期列类型:
object

登录后复制

可以看到，todays_date列的类型是object。我们需要将其转换为datetime类型。pd.to_datetime()函数是实现这一转换的最佳工具，它允许我们指定日期的格式。

# 将'todays_date'列转换为datetime类型
# 注意：根据您的日期字符串格式，需要设置正确的format参数
# 例如，'MM-DD-YY' 对应 '%m-%d-%y'
df['todays_date'] = pd.to_datetime(df['todays_date'], format='%m-%d-%y')

print("\n转换后的DataFrame:")
print(df)
print("\n转换后日期列类型:")
print(df['todays_date'].dtype)

登录后复制

输出：

转换后的DataFrame:
  todays_date other_data
0  2020-04-20          A
1  2021-04-20          B
2  2023-03-23          C
3  2023-03-24          D
4  2023-11-12          E
5  2024-01-01          F

转换后日期列类型:
datetime64[ns]

登录后复制

现在，todays_date列已成功转换为datetime64[ns]类型，这为后续的日期比较操作奠定了基础。

2. 基于单个日期的筛选

一旦日期列被正确转换为datetime类型，您就可以像比较其他数值一样比较日期。Pandas能够智能地处理日期字符串与datetime对象之间的比较，前提是日期字符串格式是Pandas可以识别的（如'YYYY-MM-DD'）。

示例1：筛选早于特定日期的所有实例

假设我们想筛选出所有发生在2023年3月24日之前的实例。

# 筛选早于 '2023-03-24' 的数据
early_instances = df[df['todays_date'] < '2023-03-24']
print("\n早于 '2023-03-24' 的实例:")
print(early_instances)

登录后复制

输出：

早于 '2023-03-24' 的实例:
  todays_date other_data
0  2020-04-20          A
1  2021-04-20          B
2  2023-03-23          C

登录后复制

3. 基于日期范围的筛选

要筛选特定日期范围内的数据，您可以使用布尔索引结合逻辑运算符&（AND）和|（OR）。请记住，在Python中，布尔表达式的每个部分都必须用括号括起来。

示例2：筛选特定日期范围内的数据

假设我们想筛选出发生在2021年3月24日之后且2023年3月24日之前的所有实例。

# 筛选 '2021-03-24' 之后且 '2023-03-24' 之前的数据
# 注意：每个条件都必须用括号括起来
mask = (df['todays_date'] > '2021-03-24') & (df['todays_date'] < '2023-03-24')
range_instances = df[mask]
print("\n'2021-03-24' 之后且 '2023-03-24' 之前的数据:")
print(range_instances)

登录后复制

输出：

'2021-03-24' 之后且 '2023-03-24' 之前的数据:
  todays_date other_data
1  2021-04-20          B
2  2023-03-23          C

登录后复制

4. 使用pd.Timestamp对象进行更精确的比较

虽然直接使用日期字符串进行比较在很多情况下是可行的，但为了代码的健壮性和明确性，尤其是在处理特定日期格式或时间组件时，建议将比较的日期也转换为pd.Timestamp对象。

示例3：使用pd.Timestamp对象进行比较

假设我们想筛选出所有发生在2023年3月24日之前的实例，但这次我们明确地将比较日期转换为pd.Timestamp。

# 将比较日期转换为pd.Timestamp对象
# 同样，需要根据日期字符串的格式指定format参数
comparison_day = pd.to_datetime('03-24-23', format='%m-%d-%y')

mask_with_timestamp = (df['todays_date'] < comparison_day)
early_instances_ts = df[mask_with_timestamp]
print(f"\n早于 {comparison_day.strftime('%Y-%m-%d')} 的实例 (使用Timestamp对象):")
print(early_instances_ts)

登录后复制

输出：

早于 2023-03-24 的实例 (使用Timestamp对象):
  todays_date other_data
0  2020-04-20          A
1  2021-04-20          B
2  2023-03-23          C

登录后复制

这种方法提供了更高的精确度，并减少了因日期字符串解析不一致而导致潜在问题的风险。

5. 注意事项与常见误区

日期格式统一性： 确保您的DataFrame中的日期列以及用于比较的日期字符串都遵循一致的格式，或者在pd.to_datetime()中明确指定format参数。不一致的格式是导致转换失败和筛选错误的主要原因。
datetime类型是基础： 所有的日期筛选操作都依赖于日期列已经是datetime类型。在尝试任何比较之前，务必完成这一转换。
KeyError和TypeError：
- KeyError通常发生在您尝试将datetime对象作为字典键或索引访问时，而它不是有效的键。
- TypeError可能发生在您尝试比较不同类型的数据时（例如，datetime对象与无法解析为日期的字符串）。
pd.date_range()的用途： pd.date_range()函数用于生成一个日期序列，而不是用于直接筛选DataFrame。如果您需要一个日期列表进行迭代或创建新的DataFrame，它会很有用，但它不是用于基于现有DataFrame进行筛选的工具。
布尔索引的括号： 在进行多条件筛选时，务必使用括号将每个布尔条件括起来，例如 (condition1) & (condition2)，以确保正确的逻辑运算优先级。