如何在Python中使用Pandas和NumPy处理多条件数据筛选与聚合-Python教程-PHP中文网

如何在Python中使用Pandas和NumPy处理多条件数据筛选与聚合

碧海醫心

发布： 2025-11-21 15:12:24

原创

262人浏览过

如何在python中使用pandas和numpy处理多条件数据筛选与聚合

本教程详细阐述了在Python中如何结合使用Pandas和NumPy，高效地处理基于多个条件的数据筛选和聚合操作。文章将通过具体示例，演示如何利用`numpy.logical_and`或Pandas的`&`运算符组合条件，以及如何运用`groupby()`方法计算多条件下的中位数等统计量，从而解决如按房屋城镇和尺寸获取中位数价格等复杂数据分析需求。

1. 引言：多条件数据分析的挑战

在数据分析实践中，我们经常需要根据多个标准来筛选数据或计算统计量。例如，在分析房地产价格时，可能不仅要考虑房屋所在的“城镇”，还要考虑“房屋尺寸”等因素，以获取更精准的统计结果，如特定城镇和特定尺寸房屋的中位数价格。

传统的循环遍历结合单条件筛选的方法，在处理多条件时会变得复杂且效率低下。例如，如果仅按“城镇”筛选，代码可能如下所示：

import numpy as np
import pandas as pd # 假设数据已加载到DataFrame

# 模拟数据
# d1 = pd.DataFrame(...)
# labels = list(set(d1['town']))
# levels_values = d1[['town','flat_size','price']]
# price = levels_values['price']

# median_values = {}
# for i in labels:
#     valuesforlevel = price[levels_values['town']==i]
#     m = np.median(valuesforlevel)
#     median_values[i] = m

登录后复制

这种方法只能处理单个条件。当需要同时考虑“城镇”和“房屋尺寸”时，就需要更高级的数据筛选和聚合技术。

立即学习“Python免费学习笔记（深入）”；

2. 理解多条件筛选的基础：逻辑运算符

在Python中，结合numpy和pandas可以高效地实现多条件筛选。核心在于使用逻辑“与”运算符来组合多个布尔条件。

2.1 使用 numpy.logical_and

numpy.logical_and函数可以接受两个布尔数组作为输入，并返回一个新的布尔数组，其中只有当两个输入数组中对应位置都为True时，新数组的对应位置才为True。

import numpy as np
import pandas as pd

# 示例数据
df = pd.DataFrame({
    'town': ['A', 'B', 'A', 'C', 'B', 'A', 'C', 'B'],
    'flat_size': ['Small', 'Medium', 'Large', 'Small', 'Medium', 'Small', 'Large', 'Large'],
    'price': [100, 150, 200, 120, 180, 110, 250, 220]
})
print("原始数据:\n", df)

# 定义两个条件
condition_town_A = (df['town'] == 'A')
condition_flat_small = (df['flat_size'] == 'Small')

# 使用 numpy.logical_and 组合条件
filtered_df_np = df[np.logical_and(condition_town_A, condition_flat_small)]
print("\n使用 numpy.logical_and 筛选 (Town A, Flat Small):\n", filtered_df_np)

登录后复制

输出结果：

原始数据:
   town flat_size  price
0    A     Small    100
1    B    Medium    150
2    A     Large    200
3    C     Small    120
4    B    Medium    180
5    A     Small    110
6    C     Large    250
7    B     Large    220

使用 numpy.logical_and 筛选 (Town A, Flat Small):
   town flat_size  price
0    A     Small    100
5    A     Small    110

登录后复制

2.2 使用 Pandas 的 & 运算符

在Pandas中，通常更推荐直接使用&（位运算符，在此上下文中作为逻辑“与”使用）来组合条件。这种方式更简洁，且与Pandas的索引机制无缝集成。需要注意的是，每个条件表达式必须用括号括起来，以确保正确的运算优先级。

# 使用 Pandas 的 & 运算符组合条件
filtered_df_pd = df[(df['town'] == 'A') & (df['flat_size'] == 'Small')]
print("\n使用 Pandas '&' 运算符筛选 (Town A, Flat Small):\n", filtered_df_pd)

登录后复制

输出结果：

使用 Pandas '&' 运算符筛选 (Town A, Flat Small):
   town flat_size  price
0    A     Small    100
5    A     Small    110

登录后复制

两种方法都可以达到相同的筛选效果，但在处理Pandas DataFrame时，&运算符通常更具可读性和简洁性。

3. 高效聚合：使用 groupby() 处理多条件统计

当我们需要计算所有不同条件组合的统计量（例如，每个城镇和房屋尺寸组合的中位数价格）时，Pandas的groupby()方法是最高效和最Pythonic的解决方案。

groupby()方法允许你根据一个或多个列的值将DataFrame分割成组，然后对每个组独立地应用一个聚合函数（如median()、mean()、sum()等）。

# 计算每个城镇和房屋尺寸组合的中位数价格
# 将 'town' 和 'flat_size' 作为分组键
median_prices_grouped = df.groupby(['town', 'flat_size'])['price'].median().reset_index()
print("\n按城镇和房屋尺寸分组计算中位数:\n", median_prices_grouped)

# 如果需要获取特定组合的中位数（例如：Town A, Flat Small）
# 可以进一步筛选分组后的结果
specific_median_A_Small = median_prices_grouped[
    (median_prices_grouped['town'] == 'A') &
    (median_prices_grouped['flat_size'] == 'Small')
]['price'].iloc[0]
print(f"\n城镇 'A' 且房屋尺寸 'Small' 的中位数价格: {specific_median_A_Small}")

# 也可以直接在原始DataFrame上进行筛选后计算中位数
# 这种方法适用于仅需获取某个特定组合的统计量，而不是所有组合
median_A_Small_direct = df[(df['town'] == 'A') & (df['flat_size'] == 'Small')]['price'].median()
print(f"直接筛选后计算城镇 'A' 且房屋尺寸 'Small' 的中位数价格: {median_A_Small_direct}")

登录后复制

输出结果：

按城镇和房屋尺寸分组计算中位数:
       town flat_size  price
0    A     Large  200.0
1    A     Small  105.0
2    B     Large  220.0
3    B    Medium  165.0
4    C     Large  250.0
5    C     Small  120.0

城镇 'A' 且房屋尺寸 'Small' 的中位数价格: 105.0
直接筛选后计算城镇 'A' 且房屋尺寸 'Small' 的中位数价格: 105.0

登录后复制

在上述代码中：

df.groupby(['town', 'flat_size'])：指定了两个列作为分组键。DataFrame将根据这两列的唯一组合进行分组。
['price'].median()：对每个分组中的price列计算中位数。
.reset_index()：默认情况下，groupby()的结果会将分组键作为新的索引。reset_index()会将这些索引转换回常规列，使结果更易于查看和进一步操作。

4. 注意事项与最佳实践

数据类型： 确保用于筛选和聚合的列具有正确的数据类型。例如，类别变量应为字符串或Pandas的Categorical类型。数值列应为int或float。
括号的使用： 在Pandas中组合条件时，每个条件表达式（例如 df['town'] == 'A'）必须用括号()括起来。这是因为&运算符的优先级高于比较运算符（==, >=, <等），如果不加括号，Python会尝试先计算 df['town'] & df['flat_size']，这会导致类型错误。
性能： 对于大型数据集，Pandas的向量化操作（如groupby()和布尔索引）通常比手动循环遍历数据框行更高效。
缺失值： 在计算中位数、均值等统计量时，Pandas默认会忽略NaN（Not a Number）值。如果需要不同的缺失值处理策略，可能需要在使用聚合函数前进行预处理（如填充或删除缺失值）。
可读性： 明确的变量名和适当的注释可以大大提高代码的可读性，尤其是在处理复杂的多条件逻辑时。

5. 总结

通过本教程，我们学习了如何在Python中利用pandas.DataFrame结合numpy.logical_and或Pandas的&运算符进行多条件数据筛选。更重要的是，我们掌握了如何使用groupby()方法高效地对多个维度进行聚合统计，从而轻松解决如根据房屋城镇和尺寸计算中位数价格等复杂的数据分析任务。掌握这些强大的工具和技巧，将显著提升数据分析的效率和代码的清晰度，帮助我们从数据中提取更有价值的洞察。

以上就是如何在Python中使用Pandas和NumPy处理多条件数据筛选与聚合的详细内容，更多请关注php中文网其它相关文章！