在Pandas中高效地根据日期条件提取和填充数据
本教程将指导您如何在pandas dataframe中根据特定日期条件高效地提取列值，并在不满足条件时填充nan。文章将对比低效的循环方法与pandas推荐的矢量化解决方案，如使用series.where()和部分字符串索引，强调性能优化和正确的日期处理技巧。
在数据分析工作中，我们经常需要根据DataFrame索引（特别是DatetimeIndex）中的特定日期或日期范围来提取或修改数据。一个常见的需求是，当索引匹配特定日期时，从另一列获取值；否则，填充NaN。本文将深入探讨实现这一目标的几种方法，并重点推荐Pandas的矢量化解决方案，以确保代码的效率和可读性。
1. 避免低效的循环操作
初学者可能会倾向于使用Python的for循环和iterrows()来遍历DataFrame的每一行。虽然这种方法在某些情况下是直观的，但对于大型数据集而言，它的性能非常低下，并且容易导致逻辑错误。
考虑以下一个常见的错误尝试：
import pandas as pd
import numpy as np
# 示例DataFrame，索引包含时间信息
rng = pd.date_range('2000-03-19', periods=10, freq='9H')
df = pd.DataFrame({'close': range(10)}, index=rng)
# 错误的循环方法
# for index, row in df.iterrows():
# if index == '2000-03-20 00:00:00': # 注意：这里如果索引包含时间，直接比较可能不匹配
# df['event'] = row['close'] # 错误：这会覆盖整个'event'列
# else:
# df['event'] = float('nan') # 错误：这也会覆盖整个'event'列
# print(df)
# 结果：'event' 列可能全部是 NaN，或者只保留了最后一次循环的赋值
# 修正后的循环（仍不推荐）
df_loop_fixed = df.copy() # 使用副本进行演示，避免修改原始df
for index, row in df_loop_fixed.iterrows():
# 匹配日期部分，忽略时间，并将索引标准化为午夜
if index.normalize() == pd.Timestamp('2000-03-20').normalize():
df_loop_fixed.loc[index, 'event'] = row['close'] # 正确：使用loc按索引赋值
else:
df_loop_fixed.loc[index, 'event'] = np.nan # 正确：使用loc按索引赋值
print("修正后的循环结果 (不推荐):")
print(df_loop_fixed)问题分析与改进： 原始的循环代码 df['event'] = ... 每次迭代都会将整个 event 列赋值为一个单一值，导致之前的所有赋值被覆盖。正确的做法是使用 df.loc[index, 'column_name'] = value 来针对特定行和列进行赋值。此外，如果索引包含时间信息而我们只想匹配日期，则需要对索引和目标日期都使用 normalize() 方法来移除时间部分。
尽管上述修正后的循环能够得到正确的结果，但由于Python循环的开销，它在大规模数据集上的执行效率非常低。在Pandas中，我们应该优先使用矢量化操作。
2. 矢量化解决方案（推荐）
Pandas提供了多种高效的矢量化方法来处理此类条件赋值任务，它们在底层使用优化的C语言实现，性能远超Python循环。
2.1 使用 Series.where() 方法
Series.where(cond, other=NaN) 方法是实现条件赋值的理想选择。它会根据布尔条件 cond 返回一个与原Series相同大小的Series。当 cond 为 True 时，保留原Series的值；当 cond 为 False 时，填充 other 指定的值（默认为 NaN）。
场景一：精确匹配完整时间戳
如果您的DataFrame索引是精确到秒的时间戳，并且您希望精确匹配某个时间点：
# 示例DataFrame，索引每日一个数据点
rng_daily = pd.date_range('2000-03-19', periods=10, freq='D')
df_daily = pd.DataFrame({'close': range(10)}, index=rng_daily)
# 精确匹配 '2000-03-20 00:00:00'
df_daily['event_exact'] = df_daily['close'].where(df_daily.index == pd.Timestamp('2000-03-20 00:00:00'))
print("\n使用 Series.where() 进行精确时间戳匹配:")
print(df_daily)场景二：仅匹配日期，忽略时间部分
在许多情况下，我们的 DatetimeIndex 可能包含时间信息（如小时、分钟、秒），但我们只关心日期部分。这时可以使用 DatetimeIndex.normalize() 方法，它会将每个时间戳的时间部分设置为午夜（00:00:00），从而只保留日期信息。
# 示例DataFrame，索引包含时间信息
rng_with_time = pd.date_range('2000-03-19', periods=10, freq='9H')
df_time = pd.DataFrame({'close': range(10)}, index=rng_with_time)
# 匹配 '2000-03-20' 这一整天，忽略时间
df_time['event_daily'] = df_time['close'].where(df_time.index.normalize() == pd.Timestamp('2000-03-20').normalize())
print("\n使用 Series.where() 仅匹配日期，忽略时间:")
print(df_time)在这个例子中，所有日期为 2000-03-20 的行，无论其具体时间如何，event_daily 列都会取 close 列的值。
2.2 使用部分字符串索引 (Partial String Indexing)
Pandas的 DatetimeIndex 支持非常便捷的部分字符串索引功能。您可以使用日期字符串（如 'YYYY-MM-DD'）直接选择一个日期或日期范围内的所有行。结合 loc 索引器，这成为一种非常简洁高效的条件赋值方式。
首先，初始化目标列为 NaN，然后对特定日期进行赋值：
# 重新创建DataFrame以确保event列初始为NaN
df_partial = pd.DataFrame({'close': range(10)}, index=rng_with_time)
df_partial['event_partial'] = np.nan # 初始化为NaN，以确保非匹配项为NaN
# 使用部分字符串索引对 '2000-03-20' 这一天的所有行赋值
# df_partial.loc['2000-03-20'] 会选择所有日期为2000-03-20的行
df_partial.loc['2000-03-20', 'event_partial'] = df_partial.loc['2000-03-20', 'close']
print("\n使用部分字符串索引进行赋值:")
print(df_partial)这种方法非常简洁，尤其适用于您希望将特定日期范围内的所有行的某个列值设置为另一个列的值时。它会自动处理所有匹配该日期字符串的索引条目，无论是精确匹配还是包含时间的部分匹配。
3. 总结与注意事项
- 矢量化优先： 在Pandas中处理大规模数据时，始终优先考虑使用矢量化操作（如 Series.where()、布尔索引等），而不是Python的循环。矢量化操作通常在底层使用C语言实现，效率远高于Python循环。
-
日期匹配精度：
- 如果需要精确匹配包含时间的时间戳，直接比较 df.index == pd.Timestamp(...)。
- 如果只需要匹配日期部分，忽略时间，使用 df.index.normalize() == pd.Timestamp(...).normalize()。
- 部分字符串索引 (df.loc['YYYY-MM-DD']) 在匹配日期时非常方便，它会自动涵盖该日期的所有时间点。
- NaN 的处理： 使用 numpy.nan 或 float('nan') 来表示缺失值是Pandas的惯例。
- loc 和 iloc 的正确使用： 在进行基于标签（如日期、列名）的赋值时，使用 loc；在进行基于整数位置的赋值时，使用 iloc。避免链式索引赋值，因为它可能返回视图而不是副本，导致 SettingWithCopyWarning 或意外行为。
通过掌握这些高效的Pandas技巧，您将能够更专业、更高效地处理时间序列数据中的条件赋值任务。
以上就是在Pandas中高效地根据日期条件提取和填充数据的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
200
收藏
