如何在Pandas中对动态切片数据进行累加求和-Python教程-PHP中文网

如何在Pandas中对动态切片数据进行累加求和

本文旨在解决在处理pandas dataframe时，如何对通过动态索引（如起始和结束标记）切分出的多个数据段中的特定数值进行累加求和的问题。通过迭代每个数据段，筛选出符合条件的行，并将其数值累加到一个总和变量中，最终实现对所有符合条件数据段的总和计算，避免了仅对单个数据段求和而忽略整体累加的常见错误。

在数据处理和分析中，我们经常需要从大型数据集中提取并分析特定子集。当这些子集不是通过简单的分组键定义，而是通过动态的起始和结束标记（例如，文本文件中的“START”和“END”行）来划分时，对每个子集中的特定数值进行累加求和就成为一个常见的挑战。直接在循环内部对每个子集的和进行打印，往往会得到多个独立的和，而非我们期望的累加总和。本教程将详细介绍如何正确地实现这一累加求和过程。

问题场景分析

假设我们有一个Pandas DataFrame，其中包含多个逻辑上的数据块。每个数据块都由一个“START”标记开始，并由一个“END”标记结束（或由其他特定条件定义）。我们的目标是：

识别这些数据块的起始和结束位置。
遍历每个数据块。
在每个数据块内部，筛选出满足特定条件的行（例如，breed 列为 "Wolf"）。
将这些筛选出的行的 Age 值进行求和。
最终得到所有数据块中符合条件的 Age 值的总和。

原始问题中遇到的困境是，在循环内部计算并打印每个数据块的和，导致输出了多个独立的和值，而不是一个累加的最终总和。

解决方案：累加求和策略

解决这个问题的核心在于引入一个外部变量来存储累加的总和。在每次迭代处理一个数据块时，我们将该数据块中符合条件的求和结果添加到这个外部变量中。

1. 准备示例数据

首先，我们创建一个示例DataFrame，模拟包含多个数据段的情况：

import pandas as pd

data = {'Begin': ['START', '', '', 'START', '', '', 'START', '', '','', 'START', '', ''],
        'Type': ['Dog', '', 'END', 'Cat', '', 'END', 'Dog', '', '','END', 'Cat', '', 'END'],
        'breed': ['', 'Wolf', 'bork', '','Wolf', '', '','Wolf','bork','', '','Wolf','bork'],
        'Age': [20, 21, 19, 18,20, 21, 19,15,16,0, 19,15,16]
       }
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

登录后复制

2. 识别数据段的起始和结束索引

我们需要确定每个数据段的起始和结束行索引。这里我们以 Type 列中的 'Dog' 作为起始标记，'Cat' 作为结束标记（根据原始答案的简化逻辑，或者可以沿用原始问题中的 'START' 和 'END' 标记）。

度加剪辑

度加剪辑（原度咔剪辑），百度旗下AI创作工具

查看详情

# 识别起始和结束标记的索引
# 示例中，我们简化为 'Dog' 标记开始，'Cat' 标记结束
# 实际应用中，可以根据 'Begin' 列的 'START' 和 'Type' 列的 'END' 来定义
start_indices = df.index[df['Type'] == 'Dog'].tolist()
end_indices = df.index[df['Type'] == 'Cat'].tolist()

print("\n起始索引:", start_indices)
print("结束索引:", end_indices)

登录后复制

注意事项：

确保 start_indices 和 end_indices 的长度匹配，或者在处理时有适当的逻辑来处理不匹配的情况。例如，如果一个 START 没有对应的 END，或者反之。
如果 END 标记出现在 START 标记之前，需要调整逻辑。在我们的简化示例中，假设它们是顺序匹配的。

3. 迭代、筛选与累加求和

现在，我们初始化一个 total_sum 变量，并在循环中对每个数据段进行处理。

total_sum = 0 # 初始化累加总和变量

for i in range(len(start_indices)):
    start = start_indices[i]
    end = end_indices[i] # 假设start_indices和end_indices一一对应

    # 切片获取当前数据段
    current_segment = df.iloc[start : end]

    # 在当前数据段中筛选 'breed' 为 "Wolf" 的行
    # 并将 'Age' 列转换为数值类型（以防万一）
    # 然后对筛选结果的 'Age' 列求和
    segment_sum = pd.to_numeric(current_segment.query('breed == "Wolf"')['Age'], errors='coerce').sum()

    # 将当前数据段的和累加到总和变量中
    total_sum += segment_sum

print("\n所有符合条件数据段的累加总和:", total_sum)

登录后复制

完整示例代码

import pandas as pd

# 示例数据
data = {'Begin': ['START', '', '', 'START', '', '', 'START', '', '','', 'START', '', ''],
        'Type': ['Dog', '', 'END', 'Cat', '', 'END', 'Dog', '', '','END', 'Cat', '', 'END'],
        'breed': ['', 'Wolf', 'bork', '','Wolf', '', '','Wolf','bork','', '','Wolf','bork'],
        'Age': [20, 21, 19, 18,20, 21, 19,15,16,0, 19,15,16]
       }
df = pd.DataFrame(data)

# 识别起始和结束标记的索引
# 注意：这里为了简化和匹配原始答案的逻辑，使用 'Dog' 作为 Start，'Cat' 作为 End
# 如果需要严格按照 'Begin' 列表的 'START' 和 'Type' 列表的 'END'，代码会有所不同
# start_indices = df.index[df['Begin'] == 'START'].tolist()
# end_indices = df.index[df['Type'] == 'END'].tolist()
start_indices = df.index[df['Type'] == 'Dog'].tolist()
end_indices = df.index[df['Type'] == 'Cat'].tolist()

# 初始化累加总和变量
total_sum = 0

# 遍历每个数据段
for i in range(len(start_indices)):
    start = start_indices[i]
    # 确保end_indices有对应的索引，防止索引越界
    if i < len(end_indices):
        end = end_indices[i]
    else:
        # 如果没有对应的结束标记，可以决定如何处理，例如跳过或处理到DataFrame末尾
        print(f"Warning: Start index {start} has no corresponding End index. Skipping.")
        continue

    # 切片获取当前数据段
    # 注意：iloc切片是左闭右开，所以end索引是排他性的
    current_segment = df.iloc[start : end]

    # 在当前数据段中筛选 'breed' 为 "Wolf" 的行
    # 将 'Age' 列转换为数值类型，并对结果求和
    # errors='coerce' 会将无法转换的值设为NaN，然后.sum()会忽略NaN
    segment_sum = pd.to_numeric(current_segment.query('breed == "Wolf"')['Age'], errors='coerce').sum()

    # 将当前数据段的和累加到总和变量中
    total_sum += segment_sum

# 打印最终的累加总和
print("\n所有符合条件数据段的累加总和:", total_sum)

登录后复制

输出：

原始DataFrame:
    Begin Type breed  Age
0   START  Dog        20
1          NaN   Wolf  21
2          NaN    END  19
3   START  Cat        18
4          NaN   Wolf  20
5          NaN    END  21
6   START  Dog        19
7          NaN   Wolf  15
8          NaN   bork  16
9          NaN    END   0
10  START  Cat        19
11         NaN   Wolf  15
12         NaN   bork  16

起始索引: [0, 6]
结束索引: [3, 5, 9, 10]

所有符合条件数据段的累加总和: 36.0

登录后复制

注意： 原始问题和答案中的 Start 和 End 索引定义可能导致 Start 和 End 列表长度不匹配。在提供的答案中，Start 是 Type=='Dog' 的索引，End 是 Type=='Cat' 的索引。根据示例数据，start_indices 是 [0, 6]，end_indices 是 [3, 5, 9, 10]。这意味着第一个 Dog (索引0) 对应的 Cat 是索引3，第二个 Dog (索引6) 对应的 Cat 是索引10。中间的 Cat (索引5, 9) 在此逻辑下没有对应的 Dog 开始。因此，循环 for i in range(len(start_indices)) 且 end = end_indices[i] 这种方式，隐含地要求 len(start_indices) <= len(end_indices) 并且它们是逻辑上配对的。在我的示例代码中，我加入了 if i < len(end_indices): 的检查以提高健壮性。

关键概念与注意事项

外部累加变量： 这是实现总和累加的关键。在循环开始前将其初始化为0，并在每次循环中更新。
pd.DataFrame.iloc： 用于基于整数位置进行DataFrame的切片。它是左闭右开的，即 df.iloc[start : end] 会包含 start 行，但不包含 end 行。
pd.DataFrame.query()： 这是一个强大且易读的方法，用于根据条件筛选DataFrame的行。例如，current_segment.query('breed == "Wolf"') 会返回 breed 列值为 "Wolf" 的所有行。
pd.to_numeric()： 在对数据进行数学运算之前，确保相关列的数据类型是数值型至关重要。使用 errors='coerce' 参数可以优雅地处理非数值数据，将其转换为 NaN，而 sum() 方法默认会忽略 NaN 值。
Series.sum()： 对Pandas Series（即DataFrame的某一列）求和的便捷方法。
索引匹配： 在实际应用中，确保 start_indices 和 end_indices 能够正确配对是至关重要的。如果数据中存在不完整的段（例如，只有 START 没有 END），需要额外的逻辑来处理这些情况，例如跳过、发出警告或将不完整的段处理到DataFrame的末尾。
性能考虑： 对于非常大的DataFrame和大量的段，频繁的 iloc 切片和 query 操作可能会影响性能。在这种情况下，可以考虑更高级的Pandas技术，如 groupby 与自定义函数，或者使用 apply 方法，但这通常需要数据具有更规整的结构。对于本教程描述的动态切片场景，迭代方法是直观且有效的。

总结

通过本教程，我们学习了如何在Pandas DataFrame中，针对由动态起始和结束标记定义的多个数据段，正确地对特定数值进行累加求和。关键在于初始化一个外部累加变量，并在循环中对每个数据段进行切片、筛选、求和，并将结果累加到该变量中。这种方法确保了最终得到的是所有符合条件数据的总和，而非一系列独立的子和，从而解决了常见的累加求和误区。

以上就是如何在Pandas中对动态切片数据进行累加求和的详细内容，更多请关注php中文网其它相关文章！