基于DataFrame数值相对范围的Python聚合操作

本文档旨在介绍如何使用Python和Pandas对DataFrame进行分组聚合，并根据每行数值的相对范围（+/- 0.5）计算总和。我们将利用`groupby`和`transform`函数，结合lambda表达式，实现高效且易于理解的数据处理方法。通过示例代码，读者可以快速掌握此技巧，并应用于实际的数据分析场景中。

问题描述

在数据分析中，我们经常需要对数据进行分组聚合，但有时聚合的条件并非简单的相等或包含关系，而是基于数值的相对范围。例如，我们希望对DataFrame按照某个键值分组，然后针对每行数据，计算该行value列的值在 +/- 0.5 范围内的所有值的总和。

解决方案

Pandas的groupby和transform函数结合lambda表达式，可以优雅地解决这个问题。groupby用于按照指定的列对DataFrame进行分组，而transform则允许我们对每个分组应用一个函数，并将结果广播回原始DataFrame。

以下是具体的代码实现：

立即学习“Python免费学习笔记（深入）”；

硅基智能

基于Web3.0的元宇宙，去中心化的互联网，高质量、沉浸式元宇宙直播平台，用数字化重新定义直播

62

查看详情

import pandas as pd

# 示例数据
df = pd.DataFrame({
    'key': ['A', 'A', 'A', 'A', 'A', 'A', 'A', 'B', 'B', 'B', 'B', 'B', 'B', 'B', 'B', 'B', 'C', 'C', 'C', 'C', 'C', 'C', 'C', 'C', 'C'],
    'value': [0.1, 0.244, 0.373, 0.514, 0.663, 0.786, 0.902, 1.01, 1.151, 1.295, 1.434, 1.541, 1.679, 1.793, 1.94, 2.049, 2.164, 2.284, 2.432, 2.533, 2.68, 2.786, 2.906, 3.008, 3.136],
    'desired_ouput': [1.231, 1.894, 2.680, 3.582, 3.482, 3.238, 2.865, 4.890, 6.431, 9.903, 11.843, 10.833, 11.731, 11.731, 9.002, 7.461, 11.462, 12.093, 17.785, 20.793, 21.765, 21.765, 19.481, 17.049, 14.516]
})

# 定义范围
N = 0.5

# 使用groupby和transform进行聚合
df["desired_output_2"] = df.groupby("key")["value"].transform(
    lambda values: [
        values[(values > (v - N)) & (values < (v + N))].sum() for v in values
    ],
)

print(df)

代码解释:

1. 导入Pandas: import pandas as pd 导入Pandas库。
2. 创建DataFrame: 创建一个包含key、value和desired_ouput列的示例DataFrame。
3. 定义范围: N = 0.5 定义了数值范围的 +/- 值。
4. 分组和转换:
   • df.groupby("key")["value"] 按照key列对DataFrame进行分组，并选择value列。
   • .transform(lambda values: ...) 对每个分组应用一个lambda函数。
   • [values[(values > (v - N)) & (values < (v + N))].sum() for v in values] 这是一个列表推导式，它遍历每个分组的value值，并计算在 v - N 和 v + N 范围内的所有值的总和。

结果分析

运行上述代码，将在DataFrame中新增一列desired_output_2，该列的值与desired_ouput列（预期输出）基本一致。

注意事项

• 性能: 对于大型数据集，使用transform可能比循环迭代更高效。
• 范围定义: N 的值可以根据实际需求进行调整，以适应不同的数值范围要求。
• 数据类型: 确保value列的数据类型为数值类型，以便进行数值比较和求和。

总结

本文介绍了如何使用Pandas的groupby和transform函数，结合lambda表达式，实现基于DataFrame数值相对范围的聚合操作。这种方法简洁高效，适用于各种数据分析场景。掌握此技巧，可以帮助你更灵活地处理和分析数据，提取有价值的信息。

以上就是基于DataFrame数值相对范围的Python聚合操作的详细内容，更多请关注php中文网其它相关文章！