使用Pandas精准定位首个条件满足后的指定行并进行数据操作

在数据分析和处理中，我们经常需要根据复杂的逻辑来选择DataFrame中的特定行。其中一个常见但稍具挑战性的任务是，不仅要找到满足某个条件的行，还要进一步选择该行之后（或之前）的行。本文将深入探讨如何利用Pandas的强大功能，特别是通过巧妙结合 `shift()`, `cumsum()`, 和 `cummax()` 等方法，来精准定位首个满足条件的行，并选择其后的指定行进行数据操作。

场景描述与问题定义

假设我们有一个Pandas DataFrame，其中包含多列数据。我们的目标是：

1. 定义一个布尔条件（或称作掩码）。
2. 找到DataFrame中首次满足这个条件的行。
3. 从该首次满足条件的行之后的某一特定行（例如，紧随其后的一行）中提取数据，并将其赋值给DataFrame中的新列。

例如，考虑以下DataFrame：

import pandas as pd

df = pd.DataFrame(
    {
        'a': [100, 1123, 123, 100, 1, 0, 1],
        'b': [1000, 11123, 1123, 0, 55, 0, 1],
        'c': ['a', 'b', 'c', 'd', 'e', 'f', 'g'],
    }
)
print("原始DataFrame:")
print(df)

输出:

原始DataFrame:
      a      b  c
0   100   1000  a
1  1123  11123  b
2   123   1123  c
3   100      0  d
4     1     55  e
5     0      0  f
6     1      1  g

我们的条件掩码是 mask = (df.a > df.b)。 对于上述DataFrame，条件 df.a > df.b 在索引为 3 的行首次满足（100 > 0）。 我们的目标是，在索引为 3 的行首次满足条件后，选择其紧随其后的一行，即索引为 4 的行，并将其 c 列的值 'e' 赋值给新列 x 在索引 4 的位置。其他行的 x 列应为 NaN。

期望的输出如下：

行者AI

行者AI绘图创作，唤醒新的灵感，创造更多可能

100

查看详情

      a      b  c    x
0   100   1000  a  NaN
1  1123  11123  b  NaN
2   123   1123  c  NaN
3   100      0  d  NaN
4     1     55  e    e
5     0      0  f  NaN
6     1      1  g  NaN

核心解决方案：定位首个条件满足后的下一行

解决此问题的关键在于构建一个精确的布尔掩码，该掩码仅在目标行（即首个条件满足后的下一行）为 True。

步骤一：识别条件并预备目标行

首先，我们创建基于原始条件的布尔序列，并使用 shift(1, fill_value=False) 将其向下平移一个位置。这样做的目的是，如果原始条件在索引 i 处为 True，那么平移后的布尔序列将在索引 i+1 处为 True，从而指向我们想要操作的“下一行”。fill_value=False 确保在序列开头填充 False，避免 NaN 引起的问题。

# 原始条件
initial_condition = (df.a > df.b)
# [F, F, F, T, F, F, F] (True 在索引 3)

# 识别目标行：将条件向下平移一位
# 如果原始条件在索引 i 为 True，则平移后在索引 i+1 为 True
target_row_indicator = initial_condition.shift(1, fill_value=False)
# [F, F, F, F, T, F, F] (True 在索引 4)

此时，target_row_indicator 已经指出了我们希望修改的行（索引 4）。然而，如果 initial_condition 在多个位置都为 True，并且我们只希望处理第一个满足条件后的行，那么 target_row_indicator 可能会有多个 True。我们需要进一步精确这个掩码。

步骤二：精确锁定首个目标行

为了确保我们只选择首次满足条件后的那一行，我们需要一个机制来“关闭”后续的 True 值。这里可以使用 cumsum() 和 shift() 的组合技巧。

1. 对 target_row_indicator 进行 cumsum()：这将把 True 视为 1，False

以上就是使用Pandas精准定位首个条件满足后的指定行并进行数据操作的详细内容，更多请关注php中文网其它相关文章！