使用Pandas进行条件筛选与分组计数：以NaN值处理为例-Python教程-PHP中文网

使用Pandas进行条件筛选与分组计数：以NaN值处理为例

聖光之護

发布： 2025-07-19 21:24:18

原创

749人浏览过

使用Pandas进行条件筛选与分组计数：以NaN值处理为例

本教程详细介绍了如何使用Pandas库对DataFrame数据进行条件筛选和分组聚合。通过一个具体案例，演示了如何筛选出特定列（如NumericValue）为NaN的行，并在此基础上，按指定维度（如SpatialDim和TimeDim）进行分组，最终统计每组的记录数量，从而高效地从原始数据集中提取有价值的统计信息。

在数据分析领域，从大型数据集中提取特定信息是常见的任务。这通常涉及两个核心操作：首先，根据某个或多个条件筛选出符合要求的行；其次，对筛选后的数据进行分组，并计算每个组的统计量，例如计数、平均值或总和。本文将以一个具体的场景为例，详细阐述如何利用python的pandas库高效地完成这些操作，特别是当条件涉及到缺失值（nan）时。

1. 数据准备

首先，我们需要一个示例数据集来演示操作。假设我们有一个包含地理空间、时间维度和数值的数据集，其中部分数值可能为缺失值。为了便于演示，我们将创建一个模拟的CSV文件并加载它。

示例数据 (space.csv):

Id,SpatialDimType,SpatialDim,TimeDim,Value,NumericValue,Low,High
32256659,COUNTRY,AND,2022,No data,,,
32256659,COUNTRY,AND,2022,No data,,,
32256659,COUNTRY,AND,2023,No data,,,
32256661,COUNTRY,ATG,2022,No data,,,
32256664,COUNTRY,AUS,2001,No data,,,
32256664,COUNTRY,AUS,2001,No data,,,
32256664,COUNTRY,AUS,2001,No data,,,
32256664,COUNTRY,AUS,2004,No data,,,
32256664,COUNTRY,AUS,2004,No data,,,
32256665,COUNTRY,AUT,2004,No data,,,

登录后复制

使用Pandas加载数据：

import pandas as pd

# 假设 space.csv 文件已存在于当前目录
df = pd.read_csv('./space.csv', sep=',')
print("原始DataFrame:")
print(df)
print("\n")

登录后复制

2. 条件筛选：识别缺失值

我们的目标是找出 NumericValue 列为缺失值（NaN）的所有记录。Pandas提供了 isna() 方法来方便地检测缺失值。

# 筛选 NumericValue 列为 NaN 的行
df_filtered = df[df['NumericValue'].isna()]
print("筛选后DataFrame (NumericValue为NaN的行):")
print(df_filtered)
print("\n")

登录后复制

df['NumericValue'].isna() 会返回一个布尔型Series，其中 NumericValue 为NaN的对应位置为 True，否则为 False。将这个布尔Series作为索引传递给DataFrame，即可筛选出满足条件的行。

3. 分组聚合与计数

在筛选出 NumericValue 为NaN的行之后，我们需要根据 SpatialDim 和 TimeDim 这两列进行分组，并计算每个组的记录数量。

千图设计室AI助手

千图网旗下的AI图像处理平台

查看详情

Pandas的 groupby() 方法用于分组，然后可以使用 size() 或 count() 进行聚合。

size()：返回每个组中的行数，包括NaN值。
count()：返回每个组中非NaN值的数量。由于我们已经筛选出了 NumericValue 为NaN的行，此时 size() 更适合用于统计每组的总记录数。

# 对筛选后的数据按 SpatialDim 和 TimeDim 分组，并计算每组的数量
# .size() 返回一个Series，其索引是分组键
# .reset_index(name='count') 将索引转换为列，并给计数列命名为 'count'
result_df = df_filtered.groupby(
    by=['SpatialDim', 'TimeDim']
).size().reset_index(name='count')

print("最终结果 (SpatialDim, TimeDim 组合的计数):")
print(result_df)

登录后复制

完整示例代码：

将上述步骤整合到一起，得到最终的解决方案代码：

import pandas as pd

# 假设 space.csv 文件已存在于当前目录
# 如果没有，可以手动创建或使用以下数据
# data = {
#     'Id': [32256659, 32256659, 32256659, 32256661, 32256664, 32256664, 32256664, 32256664, 32256664, 32256665],
#     'SpatialDimType': ['COUNTRY']*10,
#     'SpatialDim': ['AND', 'AND', 'AND', 'ATG', 'AUS', 'AUS', 'AUS', 'AUS', 'AUS', 'AUT'],
#     'TimeDim': [2022, 2022, 2023, 2022, 2001, 2001, 2001, 2004, 2004, 2004],
#     'Value': ['No data']*10,
#     'NumericValue': [float('nan')]*10, # 模拟所有NumericValue为NaN
#     'Low': ['']*10,
#     'High': ['']*10
# }
# df = pd.DataFrame(data)

df = pd.read_csv('./space.csv', sep=',')

# 1. 筛选 NumericValue 列为 NaN 的行
# 2. 对筛选后的数据按 SpatialDim 和 TimeDim 分组
# 3. 使用 .size() 计算每个组的行数
# 4. 使用 .reset_index(name='count') 将结果转换为DataFrame，并重命名计数列
df_result = df[df['NumericValue'].isna()].groupby(
    by=['SpatialDim', 'TimeDim']
).size().reset_index(name='count')

print(df_result)

登录后复制

运行结果：

  SpatialDim  TimeDim  count
0        AND     2022      2
1        AND     2023      1
2        ATG     2022      1
3        AUS     2001      3
4        AUS     2004      2
5        AUT     2004      1

登录后复制

注意事项与最佳实践

缺失值检测： 除了 isna()，Pandas还提供了 isnull() 方法，它们的功能是相同的，可以互换使用。对于非数值型数据，有时缺失值可能表示为 'No data'、空字符串 '' 或 'None' 等。在进行筛选前，可能需要先将这些特定字符串转换为真正的 NaN，例如使用 df.replace('No data', pd.NA) 或 df.replace('', pd.NA)。
size() 与 count() 的选择：
- groupby().size()：计算每个组的行数，无论这些行中是否有NaN值。它返回一个Series，其索引是分组键。
- groupby()['column'].count()：计算每个组中指定列的非NaN值的数量。在我们的场景中，由于已经筛选出了 NumericValue 为NaN的行，我们关心的是 SpatialDim 和 TimeDim 组合的记录总数，因此 size() 是更合适的选择。
链式操作： Pandas支持链式操作，可以将多个操作连接起来，使代码更简洁易读。例如，本教程中的解决方案就是通过链式调用 [] (筛选)、groupby()、size() 和 reset_index() 来完成的。
性能考虑： 对于非常大的数据集，链式操作通常是高效的，因为Pandas内部会进行优化。然而，在某些极端情况下，如果中间结果集非常庞大，考虑分步执行或使用更高级的优化技术（如Dask或PySpark）可能更合适。

总结

通过本教程，我们学习了如何利用Pandas库进行高效的数据筛选和分组聚合。关键步骤包括使用 isna() 进行缺失值条件筛选，以及利用 groupby() 结合 size() 进行分组计数。这种组合操作在数据清洗、探索性数据分析和生成汇总报告中非常常见且实用，是每个数据分析师和科学家必备的技能。掌握这些技术将大大提高处理和理解数据的能力。

以上就是使用Pandas进行条件筛选与分组计数：以NaN值处理为例的详细内容，更多请关注php中文网其它相关文章！