Pandas DataFrame：基于日期条件高效更新列值教程

在数据分析和处理中，我们经常需要根据特定条件更新dataframe中的数据。例如，当需要根据日期列的范围，向另一列中插入或修改特定值时，直接使用索引切片（如df["dummy"][1:3] = "x"）虽然可行，但缺乏灵活性和可读性，尤其是在日期范围动态变化时。本教程将介绍两种更为专业和高效的方法来解决这一问题，即利用pandas.series.between()方法结合numpy.where()函数或布尔索引。

1. 数据准备

首先，我们创建一个示例DataFrame，它包含ID、日期和虚拟列：

import pandas as pd
import numpy as np

# 创建示例DataFrame
data = {
    'ID': [0, 1, 2, 3],
    'Date': ['2019-01-03 20:00:00', '2019-01-04 14:30:00', '2019-01-04 16:00:00', '2019-01-04 20:00:00'],
    'dummy': ['', '', '', '']
}
df = pd.DataFrame(data)

# 将'Date'列转换为datetime类型，以便进行日期比较
df['Date'] = pd.to_datetime(df['Date'])

print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
   ID                Date dummy
0   0 2019-01-03 20:00:00      
1   1 2019-01-04 14:30:00      
2   2 2019-01-04 16:00:00      
3   3 2019-01-04 20:00:00      

我们的目标是，在Date列中介于2019-01-04 14:30:00和2019-01-04 20:00:00（包含边界）的行，将其dummy列的值设置为'x'。

2. 方法一：使用 numpy.where 和 pandas.Series.between()

pandas.Series.between(left, right, inclusive='both') 方法用于判断Series中的每个元素是否在指定的left和right之间。它返回一个布尔Series。numpy.where(condition, x, y) 函数则根据条件condition选择x或y的值。当条件为真时，取x；当条件为假时，取y。

这种方法适用于需要根据条件完全重新赋值目标列的情况。

# 定义日期范围
start_date = '2019-01-04 14:30:00'
end_date = '2019-01-04 20:00:00'

# 使用np.where和between更新'dummy'列
df['dummy'] = np.where(df['Date'].between(start_date, end_date), 'x', '')

print("\n使用 numpy.where 和 between 更新后的DataFrame:")
print(df)

代码解释：

1. df['Date'].between(start_date, end_date)：这会生成一个布尔Series，其中Date列的值在指定范围内的为True，否则为False。
2. np.where(...)：根据上述布尔Series，如果为True，则将dummy列对应位置的值设为'x'；如果为False，则设为''（空字符串）。

输出：

硅基智能

基于Web3.0的元宇宙，去中心化的互联网，高质量、沉浸式元宇宙直播平台，用数字化重新定义直播

62

查看详情

使用 numpy.where 和 between 更新后的DataFrame:
   ID                Date dummy
0   0 2019-01-03 20:00:00      
1   1 2019-01-04 14:30:00     x
2   2 2019-01-04 16:00:00     x
3   3 2019-01-04 20:00:00     x

3. 方法二：使用布尔索引和 pandas.Series.between()

布尔索引是Pandas中一种非常强大的数据筛选和赋值机制。通过将布尔Series作为索引传递给df.loc[]，我们可以选择DataFrame中满足特定条件的行，并对这些行的特定列进行赋值。

这种方法适用于仅更新满足条件的行，而不影响其他行的值的情况。

# 重新初始化DataFrame以演示此方法
df = pd.DataFrame(data)
df['Date'] = pd.to_datetime(df['Date'])

# 定义日期范围
start_date = '2019-01-04 14:30:00'
end_date = '2019-01-04 20:00:00'

# 使用布尔索引和between更新'dummy'列
df.loc[df['Date'].between(start_date, end_date), 'dummy'] = 'x'

print("\n使用布尔索引和 between 更新后的DataFrame:")
print(df)

代码解释：

1. df['Date'].between(start_date, end_date)：与方法一相同，生成一个布尔Series。
2. df.loc[...]：loc是基于标签的索引器。
   • 第一个参数df['Date'].between(start_date, end_date)：作为行选择器，只选择布尔Series中为True的行。
   • 第二个参数'dummy'：指定要更新的列。
3. = 'x'：将选定行中dummy列的值设置为'x'。

输出：

使用布尔索引和 between 更新后的DataFrame:
   ID                Date dummy
0   0 2019-01-03 20:00:00      
1   1 2019-01-04 14:30:00     x
2   2 2019-01-04 16:00:00     x
3   3 2019-01-04 20:00:00     x

4. 注意事项

• 日期列的数据类型： 确保用于比较的日期列（如'Date'）是Pandas的datetime类型。如果它是字符串类型，between()方法也能进行字符串比较，但为了日期操作的准确性和灵活性，强烈建议将其转换为datetime类型。使用pd.to_datetime()可以方便地完成转换。
• 日期格式： between()方法接受字符串形式的日期作为边界，Pandas会尝试将其解析为datetime对象。为了避免解析错误，建议使用标准的ISO格式（YYYY-MM-DD HH:MM:SS）。
• inclusive参数： pandas.Series.between()方法有一个inclusive参数，默认为'both'，表示包含边界值。你可以根据需要设置为'left'、'right'或'neither'。
  • 'both'：left <= value <= right
  • 'left'：left <= value < right
  • 'right'：left < value <= right
  • 'neither'：left < value < right
• 性能考量： 对于大型DataFrame，这两种方法都比迭代行或使用硬编码的整数索引更高效，因为它们利用了Pandas和NumPy的矢量化操作。通常，布尔索引（方法二）在仅需更新部分行时，可能在某些场景下略优于np.where（方法一），因为np.where会创建并处理整个列的中间数组。然而，对于大多数常见用例，两者性能差异不大。

5. 总结

本教程介绍了两种在Pandas DataFrame中根据日期范围条件更新列值的专业方法。通过结合pandas.Series.between()与numpy.where()或布尔索引，我们可以实现灵活、高效且可读性强的条件赋值操作。这些方法避免了对行索引的硬编码依赖，使得代码更具通用性和鲁棒性，是进行数据清洗和特征工程时的重要工具。在实际应用中，选择哪种方法取决于具体需求：如果需要根据条件完全替换列的值，np.where是一个好选择；如果仅需修改满足条件的子集，布尔索引则更为直观和常用。

以上就是Pandas DataFrame：基于日期条件高效更新列值教程的详细内容，更多请关注php中文网其它相关文章！