优化Pandas自定义工作日偏移操作中的性能警告

本文探讨了在pandas中使用`custombusinessday`进行日期偏移时遇到的`performancewarning`问题及其解决方案。当直接将复杂的非向量化日期偏移应用于`series`或`datetimeindex`时，pandas会发出此警告。通过采用`series.apply()`方法结合lambda表达式，可以有效地避免警告，并确保自定义工作日逻辑的正确应用，从而提升代码的健壮性。

理解Pandas中的自定义工作日偏移

在数据分析中，我们经常需要对日期进行偏移操作，例如计算特定日期之后的下一个工作日。Pandas提供了强大的日期时间处理能力，其中包括pandas.tseries.offsets模块，该模块包含多种日期偏移量类型。CustomBusinessDay是一个特别有用的偏移量，它允许我们定义自己的工作日规则，例如排除周末和特定节假日。

以下是一个使用CustomBusinessDay来计算日期偏移的示例：

import pandas as pd
import numpy as np
from pandas.tseries.holiday import USFederalHolidayCalendar
from pandas.tseries.offsets import CustomBusinessDay
from datetime import datetime

# 初始化日期和偏移量参数
biz_day_only = True
offset_value = 1

# 定义美国联邦节假日日历
us_biz_days = CustomBusinessDay(calendar=USFederalHolidayCalendar())

# 创建一个DatetimeIndex
dt = pd.to_datetime(['20231231', '20231031'])

# 根据条件创建CustomBusinessDay或Day偏移量
if biz_day_only:
    # 注意：这里直接使用us_biz_days.holidays，因为CustomBusinessDay的calendar属性在创建后是不可变的，
    # 而holidays属性是实际的日期集合。
    d_offset = CustomBusinessDay(abs(offset_value), holidays=us_biz_days.holidays)
else:
    d_offset = pd.offsets.Day(abs(offset_value))

# 应用偏移量
if offset_value < 0:
    result_dt = dt - d_offset
else:
    result_dt = dt + d_offset

print("原始日期：", dt)
print("应用偏移量后的日期（可能出现警告）：", result_dt)

当运行上述代码时，您可能会观察到如下的PerformanceWarning：

<string>:1: PerformanceWarning: Non-vectorized DateOffset being applied to Series or DatetimeIndex.

这个警告表明，我们正在将一个非向量化的DateOffset对象（CustomBusinessDay）直接应用于一个Pandas Series或DatetimeIndex。由于CustomBusinessDay涉及到复杂的逻辑（例如跳过周末和节假日），Pandas无法将其优化为底层高效的向量化操作，因此会逐个元素地进行处理，这可能导致性能下降，尤其是在处理大量数据时。

尝试解决与NumPy的局限性

为了解决PerformanceWarning，一个常见的思路是尝试利用NumPy的向量化能力。例如，将Pandas日期转换为NumPy的datetime64类型，并尝试使用np.timedelta64进行偏移：

# 尝试使用NumPy偏移 (此方法不适用于CustomBusinessDay的复杂逻辑)
# new_dt = dt.values.astype('M8[D]') + np.timedelta64(d_offset, 'D') # 错误示例

这种方法的问题在于，np.timedelta64只能处理简单的固定时间间隔（如天、小时、分钟等）。如果尝试将d_offset（一个CustomBusinessDay对象）直接转换为np.timedelta64，或者使用d_offset.n属性（它只返回偏移的整数值，例如1），那么它将丢失CustomBusinessDay所包含的复杂业务逻辑，例如跳过节假日和周末。

例如，如果d_offset.n的值是1，那么np.timedelta64(1, 'D')只会简单地将日期向前推一天，而不会考虑这一天是否是工作日或节假日。这显然不符合我们使用CustomBusinessDay的初衷。因此，简单地转换为NumPy偏移量并不能解决问题，因为它会破坏业务逻辑的正确性。

知网AI智能写作

知网AI智能写作，写文档、写报告如此简单

38

查看详情

推荐的解决方案：使用Series.apply()

解决PerformanceWarning并同时保持CustomBusinessDay复杂逻辑的正确性的最佳方法是使用Pandas Series或DatetimeIndex的apply()方法。apply()方法允许我们对Series中的每个元素应用一个自定义函数（通常是一个lambda表达式），从而实现逐元素的操作。

通过这种方式，CustomBusinessDay的逻辑可以正确地应用于每个日期，而不会触发PerformanceWarning，因为apply()本身就是设计来处理这种非向量化操作的。

import pandas as pd
from pandas.tseries.holiday import USFederalHolidayCalendar
from pandas.tseries.offsets import CustomBusinessDay

# 初始化日期和偏移量参数
biz_day_only = True
offset_value = 1

# 定义美国联邦节假日日历
us_biz_days = CustomBusinessDay(calendar=USFederalHolidayCalendar())

# 创建一个DatetimeIndex
dt = pd.to_datetime(['20231231', '20231031', '20240101']) # 增加一个元旦日期进行测试

# 根据条件创建CustomBusinessDay或Day偏移量
if biz_day_only:
    d_offset = CustomBusinessDay(abs(offset_value), holidays=us_biz_days.holidays)
else:
    d_offset = pd.offsets.Day(abs(offset_value))

# 使用apply()方法应用偏移量
if offset_value < 0:
    new_dt = dt.apply(lambda x: x - d_offset)
else:
    new_dt = dt.apply(lambda x: x + d_offset)

print("原始日期：", dt)
print("使用apply()应用偏移量后的日期：", new_dt)

示例输出分析：

假设us_biz_days包含了2024年1月1日（元旦）作为节假日，并且2023年12月31日是周日。

• 对于20231231 (周日)，如果offset_value是1，那么CustomBusinessDay会跳过周日、周一（元旦），直接推到周二（2024年1月2日）。
• 对于20231031 (周二)，如果offset_value是1，那么CustomBusinessDay会推到周三（2023年11月1日）。
• 对于20240101 (周一，元旦)，如果offset_value是1，那么CustomBusinessDay会跳过周一（元旦），直接推到周二（2024年1月2日）。

通过dt.apply(lambda x: x + d_offset)，每个日期元素x都会独立地与d_offset进行运算，CustomBusinessDay的复杂逻辑得以正确执行，并且不再出现PerformanceWarning。

注意事项与总结

1. 正确性优先： 当处理像CustomBusinessDay这样包含复杂规则的日期偏移时，确保逻辑的正确性比单纯追求极致的向量化性能更为重要。Series.apply()提供了一个可靠的途径来保持这种正确性。
2. 性能考量： 尽管apply()解决了警告并保证了正确性，但它本质上是一个循环操作。对于拥有数百万甚至更多日期的大型数据集，其性能可能不如真正的C级向量化操作。然而，对于大多数实际应用场景，apply()的性能通常是可接受的。
3. Pandas发展： Pandas库在不断发展。未来版本可能会引入更高效的内部机制来处理复杂日期偏移的向量化操作。在当前版本中，apply()是处理此类PerformanceWarning的推荐实践。
4. d_offset.n的用途： d_offset.n属性仅表示偏移量的整数部分（例如，CustomBusinessDay(3)的n为3）。它不包含任何关于工作日或节假日的逻辑信息，因此不能单独用于NumPy的timedelta64来模拟CustomBusinessDay的行为。

总之，当您在Pandas中遇到PerformanceWarning: Non-vectorized DateOffset being applied to Series or DatetimeIndex并涉及CustomBusinessDay等复杂日期偏移时，最佳实践是采用Series.apply()方法。这不仅能消除警告，更能确保您的日期偏移逻辑在考虑自定义工作日和节假日规则时保持完全的准确性。

以上就是优化Pandas自定义工作日偏移操作中的性能警告的详细内容，更多请关注php中文网其它相关文章！