Pandas pivot_table 高级技巧：优化列名与时间序列排序

本教程旨在解决pandas `pivot_table`在使用中常见的两个问题：如何消除由`values`参数引起的冗余多级列名，以及如何对文本格式的季度列进行正确的时序排序。通过将`values`参数从列表改为单一字符串，并利用`pd.periodindex`对季度数据进行预处理，我们将展示如何生成结构更清晰、排序更准确的数据透视表，并进一步提供自定义列名格式的方法。

在数据分析中，pandas.pivot_table 是一个功能强大的工具，用于对数据进行聚合和重塑。然而，在使用过程中，我们可能会遇到一些常见的挑战，例如生成的列名结构不理想，或者时间相关的列无法按正确的时序进行排序。本文将深入探讨如何解决这些问题，以生成更符合分析需求的数据透视表。

一、优化 pivot_table 输出中的多级列名

当使用 pivot_table 并将 values 参数设置为一个包含单一元素的列表时，Pandas 会默认创建一个多级列索引（MultiIndex），其中顶层索引是 values 参数中的元素名，下层索引是 columns 参数指定的值。这通常会导致输出结果中出现冗余的列名，例如在每个季度列上方都显示一个“sold”的父级列名，这在导出到CSV等场景下并不理想。

问题示例：

考虑以下初始DataFrame：

import pandas as pd

dfdict = {'product':['ruler', 'pencil', 'case', 'rubber'],
          'sold':[4,23,0,14],
          'Quarter':['Q1/22','Q2/23','Q3/22','Q1/23']}
dftest = pd.DataFrame(dfdict)

# 使用 values=['sold'] 创建透视表
dftemp = dftest.pivot_table(index=['product'],
                            columns=['Quarter'],
                            values=['sold'],  # 注意这里是列表
                            aggfunc=sum,
                            fill_value=0)
print("原始多级列名输出：")
print(dftemp)

输出结果如下所示，可以看到每个季度列上方都有一个“sold”的父级列名：

         sold
Quarter Q1/22 Q1/23 Q2/23 Q3/22
product
case        0     0     0     0
pencil      0     0    23     0
rubber      0    14     0     0
ruler       4     0     0     0

解决方案：

要消除这个冗余的父级列名，只需将 values 参数从一个列表（例如 ['sold']）更改为单一的字符串（例如 'sold'）。这样，Pandas 将不会创建额外的顶层索引，从而使列名结构更加扁平化。

# 将 values 参数从列表改为单一字符串
dftemp_optimized_columns = dftest.pivot_table(index='product',
                                               columns='Quarter',
                                               values='sold',  # 这里改为单一字符串
                                               aggfunc=sum,
                                               fill_value=0)
print("\n优化后的列名输出：")
print(dftemp_optimized_columns)

优化后的输出将不再包含冗余的“sold”父级列名：

Quarter Q1/22 Q1/23 Q2/23 Q3/22
product
case        0     0     0     0
pencil      0     0    23     0
rubber      0    14     0     0
ruler       4     0     0     0

二、实现季度列的正确时序排序

在默认情况下，当 columns 参数包含字符串类型的季度数据时，pivot_table 会按照字符串的字母顺序进行排序，而非实际的时间顺序。例如，Q1/22、Q1/23、Q2/23、Q3/22 可能会被错误地排序为 Q1/22、Q1/23、Q2/23、Q3/22（如果字符串排序恰好一致），但如果存在 Q1/23 和 Q1/22，则 Q1/22 会在 Q1/23 之前，这与我们期望的 2022Q1 在 2023Q1 之前是不同的。为了实现正确的时序排序，我们需要将季度字符串转换为Pandas能够识别的时间周期对象。

解决方案：利用 pd.PeriodIndex 进行预处理

pd.PeriodIndex 是Pandas中处理固定频率时间周期（如季度、月份、年份）的强大工具。通过将原始的季度字符串转换为 PeriodIndex 对象，pivot_table 就能正确地识别并按照时间顺序对列进行排序。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

1. 转换 Quarter 列为 pd.PeriodIndex： 首先，我们需要解析原始的 Qx/yy 格式。我们可以提取年份的后两位 (yy) 和季度数 (Qx)，然后结合 pd.PeriodIndex 的构造函数来创建 Period 对象。例如，Q1/22 应该转换为 2022Q1。

   # 转换 Quarter 列为 pd.PeriodIndex
   # 提取年份后两位和季度数，重组为 'yyQx' 格式，然后指定频率 'Q'
   dftest['Quarter'] = pd.PeriodIndex(dftest['Quarter'].str[-2:] + # 提取 '22', '23'
                                      dftest['Quarter'].str[:2],  # 提取 'Q1', 'Q2'
                                      freq='Q')
   print("\n转换后的DataFrame（Quarter列为Period类型）：")
   print(dftest)

   登录后复制

   转换后的 dftest 会显示 Quarter 列为 Period 类型：

     product  sold Quarter
   0   ruler     4  2022Q1
   1  pencil    23  2023Q2
   2    case     0  2022Q3
   3  rubber    14  2023Q1

   登录后复制

2. 使用转换后的列创建透视表： 现在，当使用这个转换后的 Quarter 列进行 pivot_table 操作时，Pandas 会自动按照时间顺序对列进行排序。

   # 使用转换后的 Quarter 列创建透视表，同时优化列名
   dftemp_sorted = dftest.pivot_table(index='product',
                                      columns='Quarter',
                                      values='sold',
                                      aggfunc=sum,
                                      fill_value=0)
   print("\n按时序排序且列名优化的透视表：")
   print(dftemp_sorted)

   登录后复制

   输出结果将显示季度列按正确的时序排序：

   Quarter  2022Q1  2022Q3  2023Q1  2023Q2
   product                                
   case          0       0       0       0
   pencil        0       0       0      23
   rubber        0       0      14       0
   ruler         4       0       0       0

   登录后复制

三、自定义排序后季度列的显示格式

尽管 pd.PeriodIndex 能够确保正确的时序排序，但其默认的显示格式（例如 2022Q1）可能不是我们最终希望在报告或CSV文件中呈现的格式。如果需要恢复到原始的 Qx/yy 格式或自定义其他格式，可以在透视表生成并排序之后，使用 rename 方法结合 strftime 进行格式化。

方法：使用 rename 结合 lambda 函数和 strftime

strftime 方法允许我们将 Period 或 Timestamp 对象格式化为任意字符串。我们可以遍历透视表的列名（它们现在是 Period 对象），并对每个列名应用 strftime。

# 自定义列名格式为 'Q%q/%y'
dftemp_formatted = dftemp_sorted.rename(columns=lambda x: x.strftime('Q%q/%y'))
print("\n自定义列名格式后的透视表：")
print(dftemp_formatted)

最终的输出将是按时序排序，并且列名格式也符合我们要求的透视表：

Quarter  Q1/22  Q3/22  Q1/23  Q2/23
product                            
case         0      0      0      0
pencil       0      0      0     23
rubber       0      0     14      0
ruler        4      0      0      0

其中，%q 代表季度数（1-4），%y 代表年份的后两位。

总结与最佳实践

通过本教程，我们学习了在Pandas pivot_table 中处理列名优化和时间序列排序的关键技巧：

1. 消除冗余多级列名： 在使用 pivot_table 时，如果 values 参数只包含一个聚合列，请将其指定为单一字符串（例如 values='sold'），而不是一个列表（例如 values=['sold']），以避免生成多余的顶层列索引。
2. 实现季度列的正确时序排序： 对于包含季度信息的字符串列，最佳实践是在进行 pivot_table 操作之前，将其转换为 pd.PeriodIndex 类型。这确保了透视表能够按照实际的时间顺序对季度列进行排序。
3. 自定义列名显示格式： 如果 PeriodIndex 的默认显示格式不符合需求，可以在透视表生成并排序后，使用 df.rename(columns=lambda x: x.strftime('格式字符串')) 来灵活地自定义列的显示格式。

掌握这些技巧将帮助您更高效、更专业地使用 pandas.pivot_table 进行数据分析和报告。在处理复杂的数据重塑和时间序列数据时，数据预处理和参数的精细控制是生成高质量结果的关键。

以上就是Pandas pivot_table 高级技巧：优化列名与时间序列排序的详细内容，更多请关注php中文网其它相关文章！