Pandas 数据聚合优化：利用 Pivot 提升效率与代码简洁性-Python教程-PHP中文网

Pandas 数据聚合优化：利用 Pivot 提升效率与代码简洁性

DDD

发布： 2025-09-10 14:53:28

原创

565人浏览过

Pandas 数据聚合优化：利用 Pivot 提升效率与代码简洁性

本文旨在解决使用 Pandas 进行数据聚合时，因频繁的筛选和合并操作导致的冗余代码问题。我们将介绍如何利用 Pandas 的 pivot 函数高效重塑数据，并通过简洁的代码实现复杂的统计计算，从而显著提升数据处理效率和代码可维护性，避免不必要的中间 DataFrame。

传统数据聚合方法的痛点

在数据分析工作中，我们经常需要从原始数据集中提取特定子集，进行计算，然后将结果合并。例如，根据不同的条件（如 regions 和 n）筛选数据，计算特定指标（如 length），再将这些结果通过 merge 操作组合起来。这种方法虽然能达到目的，但在实际操作中往往面临以下问题：

代码冗长且重复： 每次筛选和计算都需要单独的代码块，当需要处理的组合条件增多时，代码量会急剧膨胀。
效率低下： 频繁创建中间 DataFrame 并执行 merge 操作，尤其是在处理百万级别甚至更大数据量时，会带来显著的性能开销。
可读性差： 大量的筛选和合并逻辑使得代码难以理解，增加了维护成本。
易出错： 重复的代码模式更容易引入复制粘贴错误，导致结果不准确。

以下是原始问题中展示的示例代码片段，它清晰地体现了这种重复性：

# 原始的重复筛选和合并操作示例
df_cap_N90 = df_stats[(df_stats['N'] == 90) & (df_stats['regions'] == 'captured')].drop(columns=['regions', 'N'])
df_cap_N50 = df_stats[(df_stats['N'] == 50) & (df_stats['regions'] == 'captured')].drop(columns=['regions', 'N'])
df_all_N50 = df_stats[(df_stats['N'] == 50) & (df_stats['regions'] == 'all')     ].drop(columns=['regions', 'N'])

df_summ_cap_N50_all_N50 = pd.merge(df_cap_N50, df_all_N50, on='enzyme', how='inner', suffixes=('_cap_N50', '_all_N50'))
df_summ_cap_N50_all_N50['cap_N50_all_N50'] = (df_summ_cap_N50_all_N50['length_cap_N50'] -
                                              df_summ_cap_N50_all_N50['length_all_N50'])

df_summ_cap_N90_all_N50 = pd.merge(df_cap_N90, df_all_N50, on='enzyme', how='inner', suffixes=('_cap_N90', '_all_N50'))
df_summ_cap_N90_all_N50['cap_N90_all_N50'] = df_summ_cap_N90_all_N50['length_cap_N90'] - df_summ_cap_N90_all_N50['length_all_N50']

df_summ = pd.merge(df_summ_cap_N50_all_N50.drop(columns=['length_cap_N50', 'length_all_N50']),
                   df_summ_cap_N90_all_N50.drop(columns=['length_cap_N90', 'length_all_N50']),
                   on='enzyme', how='inner')

登录后复制

Pandas pivot 函数：数据重塑的利器

为了解决上述问题，Pandas 提供了 pivot 函数，它能够将“长格式”数据（即多个变量的值存储在同一列中，通过其他列标识其类型）转换为“宽格式”数据（即每个变量类型拥有独立的列）。这种重塑操作能极大地简化后续的计算逻辑。

pivot 函数的核心参数包括：

index: 用于创建新 DataFrame 的行索引的列。
columns: 用于创建新 DataFrame 的列索引的列（可以是一个列表，生成多级列索引）。
values: 用于填充新 DataFrame 单元格的值的列。

示例数据准备

首先，我们加载并查看原始数据：

import io
import pandas as pd

TESTDATA="""
enzyme  regions   N   length
AaaI    all       10  238045
AaaI    all       20  170393
AaaI    all       30  131782
AaaI    all       40  103790
AaaI    all       50  81246
AaaI    all       60  62469
AaaI    all       70  46080
AaaI    all       80  31340
AaaI    all       90  17188
AaaI    captured  10  292735
AaaI    captured  20  229824
AaaI    captured  30  193605
AaaI    captured  40  163710
AaaI    captured  50  138271
AaaI    captured  60  116122
AaaI    captured  70  95615
AaaI    captured  80  73317
AaaI    captured  90  50316
AagI    all       10  88337
AagI    all       20  19144
AagI    all       30  11030
AagI    all       40  8093
AagI    all       50  6394
AagI    all       60  4991
AagI    all       70  3813
AagI    all       80  2759
AagI    all       90  1666
AagI    captured  10  34463
AagI    captured  20  19220
AagI    captured  30  15389
AagI    captured  40  12818
AagI    captured  50  10923
AagI    captured  60  9261
AagI    captured  70  7753
AagI    captured  80  6201
AagI    captured  90  4495
"""

df_stats = pd.read_csv(io.StringIO(TESTDATA), sep='\s+')
print("原始数据 df_stats 头部：")
print(df_stats.head())

登录后复制

输出：

代码小浣熊

代码小浣熊是基于商汤大语言模型的软件智能研发助手，覆盖软件需求分析、架构设计、代码编写、软件测试等环节

查看详情

原始数据 df_stats 头部：
  enzyme regions   N  length
0   AaaI     all  10  238045
1   AaaI     all  20  170393
2   AaaI     all  30  131782
3   AaaI     all  40  103790
4   AaaI     all  50   81246

登录后复制

使用 pivot 重塑数据

为了进行 cap_N50_all_N50 和 cap_N90_all_N50 的计算，我们只需要 N 为 50 和 90 的数据。首先筛选出这些数据，然后使用 pivot 进行重塑。

# 筛选出 N 为 50 或 90 的数据，这是后续计算所需
filtered_df = df_stats.loc[df_stats["N"].isin([50, 90])]

# 使用 pivot 重塑数据
# index='enzyme' 将 enzyme 作为新的行索引
# columns=['regions', 'N'] 将 regions 和 N 的组合作为新的列索引（多级列）
# values='length' 将 length 列的值填充到新的单元格中
pivoted_df = filtered_df.pivot(index="enzyme", columns=["regions", "N"], values="length")

print("\n重塑后的 pivoted_df 头部：")
print(pivoted_df.head())

登录后复制

输出：

重塑后的 pivoted_df 头部：
regions   all         captured    
N          50      90       50      90
enzyme                              
AaaI    81246   17188   138271   50316
AagI     6394    1666    10923    4495

登录后复制

可以看到，pivoted_df 现在是一个宽格式的 DataFrame，enzyme 作为行索引，regions 和 N 的组合作为多级列索引。所有需要进行计算的值都已排列在同一行中，使得后续操作变得非常直接。

基于重塑数据的统计计算

数据重塑完成后，复杂的跨列计算就变得异常简单。我们可以直接通过列名访问数据，并利用 Pandas 的内置方法进行高效的向量化操作。

# 进行统计计算
# 从 'captured' 区域的 N50/N90 值中减去 'all' 区域的 N50 值
# pivoted_df["captured"] 选取所有 'captured' 区域的列（N50, N90）
# pivoted_df[("all", 50)] 选取 'all' 区域的 N50 列
# .sub() 方法执行减法，axis=0 表示按行对齐索引进行操作
result_df = (pivoted_df["captured"]
             .sub(pivoted_df[("all", 50)], axis=0)
             .add_prefix("cap_N") # 为列添加前缀 'cap_N'
             .add_suffix("_all_N50") # 为列添加后缀 '_all_N50'
             .reset_index()) # 将 enzyme 索引重置为普通列

print("\n最终结果 result_df：")
print(result_df)

登录后复制

输出：

最终结果 result_df：
N enzyme  cap_N50_all_N50  cap_N90_all_N50
0   AaaI            57025           -30930
1   AagI             4529            -1899

登录后复制

通过上述代码，我们仅用了几行简洁的代码就实现了与原始冗长代码相同的结果，并且逻辑更加清晰。

优化效果与优势

与原始的重复筛选和合并方法相比，使用 pivot 进行数据聚合和计算带来了显著的优势：

代码简洁性： 将多步骤的筛选、合并和计算整合为少数几行代码，大大减少了代码量。
执行效率： pivot 操作在底层经过高度优化，且避免了多次创建中间 DataFrame 和执行昂贵的 merge 操作，这对于处理大数据集时性能提升尤为明显。
可读性与可维护性： 代码逻辑更加集中和直观，易于理解和后续修改。当需要添加新的计算组合时，只需在 pivot 后的 DataFrame 上进行简单的列操作即可。
灵活性： 这种模式便于扩展。如果需要计算更多 N 值或 regions 类型的组合，只需调整 filtered_df 的筛选条件和后续的列操作即可。

注意事项与最佳实践

pivot 与 pivot_table 的选择： pivot 函数要求 index 和 columns 参数的组合必须是唯一的，否则会报错。如果存在重复的 index/columns 组合，并且需要对 values 进行聚合（如求和、平均值等），则应使用功能更强大的 pivot_table 函数，它允许指定聚合函数 aggfunc。在本例中，enzyme、regions 和 N 的组合是唯一的，因此 pivot 适用。
缺失值处理： 如果某些 index/columns 组合在原始数据中不存在，pivot 操作会在新生成的 DataFrame 中填充 NaN。在进行后续计算前，可能需要使用 fillna() 等方法处理这些缺失值。
性能考量： 尽管 pivot 效率高，但对于拥有极大量唯一 columns

以上就是Pandas 数据聚合优化：利用 Pivot 提升效率与代码简洁性的详细内容，更多请关注php中文网其它相关文章！