本文详细介绍了在pandas dataframe中将多列堆叠并重塑为更简洁结构的三种高效方法。通过实例代码，分别演示了如何利用multiindex、`melt`与`pivot`组合以及`janitor`库的`pivot_longer`函数来实现数据从宽格式到长格式的转换，旨在帮助用户根据具体场景选择最合适的重塑策略，提升数据处理效率。
在数据分析和处理中，经常需要对DataFrame的结构进行调整，以适应不同的分析需求或模型输入。其中一个常见场景是将多个具有相似语义的列堆叠（stack）成少数几列，同时引入一个标识原始列来源的新列。例如，将包含左右侧（left_和right_）计数（_count）和总和（_sum）的列重塑为包含side、count和sum的更紧凑格式。
考虑以下初始DataFrame：
import pandas as pd
df = pd.DataFrame({
'date': ['2023-12-01', '2023-12-05', '2023-12-07'],
'other_col': ['a', 'b', 'c'],
'right_count': [4, 7, 9],
'right_sum': [2, 3, 5],
'left_count': [1, 8, 5],
'left_sum': [0, 8, 4]
})
print("原始DataFrame:")
print(df)期望的输出格式如下：
date other_col side count sum 0 2023-12-01 a right 4 2 1 2023-12-05 b right 7 3 2 2023-12-07 c right 9 5 3 2023-12-01 a left 1 0 4 2023-12-05 b left 8 8 5 2023-12-07 c left 5 4
下面将介绍三种实现此重塑目标的方法。
方法一：利用MultiIndex和stack进行自定义重塑
这种方法通过巧妙地构建一个临时的MultiIndex（多级索引）来组织列，然后使用stack操作将数据从宽格式转换为长格式。
- 设置索引：首先，将不需要重塑的列（如date, other_col）设置为DataFrame的索引。
- 创建MultiIndex列：将剩余的列名（如right_count, left_sum）通过下划线_拆分，创建两级列索引，其中第一级表示side（如right, left），第二级表示度量类型（如count, sum）。
- 重命名列轴：为MultiIndex的列轴命名，使其更具可读性。
- 堆叠：使用stack('side')将第一级列索引（side）堆叠到行索引中。
- 重置索引：最后，将所有索引重置为列，并清理生成的列名。
out_multiindex = (df
.set_index(['date', 'other_col']) # 1. 设置索引
.pipe(lambda x: x.set_axis(x.columns.str.split('_', expand=True), axis=1)) # 2. 创建MultiIndex列
.rename_axis(columns=['side', None]) # 3. 重命名列轴
.stack('side') # 4. 堆叠'side'层
.reset_index() # 5. 重置索引
)
print("\n方法一：使用MultiIndex和stack")
print(out_multiindex)注意事项： 这种方法非常灵活，适用于列名具有清晰分隔符，并且需要将特定层级的列名转换为新列的场景。它要求对Pandas的MultiIndex操作有一定理解。
方法二：结合melt和pivot操作
melt和pivot是Pandas中进行数据重塑的两个核心函数，它们组合起来可以实现复杂的宽长格式转换。
- melt操作：首先，使用melt函数将所有需要重塑的列“融化”到一个新的value列中，同时创建一个side（这里暂时命名为var_name）列来存储原始的列名。
- 拆分列名：将melt生成的side列（如right_count）拆分为两部分：实际的side（right或left）和度量类型（count或sum）。
- pivot操作：最后，使用pivot函数，将拆分出的度量类型作为新的列名，value列的数据填充到这些新列中，并以date、other_col和side作为新的行索引。
- 重置索引和清理：重置索引并清理pivot操作可能留下的MultiIndex列名。
tmp = df.melt(['date', 'other_col'], var_name='temp_col') # 1. melt操作
# 2. 拆分列名
tmp[['side', 'col_type']] = tmp['temp_col'].str.split('_', n=1, expand=True)
out_melt_pivot = (tmp.pivot(index=['date', 'other_col', 'side'],
columns='col_type', values='value') # 3. pivot操作
.reset_index() # 4. 重置索引
.rename_axis(columns=None) # 清理列名
)
print("\n方法二：结合melt和pivot")
print(out_melt_pivot)注意事项： melt和pivot是Pandas中非常常用的重塑工具，理解它们的工作原理对于处理各种数据格式至关重要。这种方法通常更易于理解和调试，因为它将重塑过程分解为几个逻辑步骤。
方法三：使用janitor库的pivot_longer函数
对于更复杂的重塑任务，或者当需要更简洁的语法时，可以考虑使用第三方库pyjanitor。它提供了类似R语言tidyr包的pivot_longer功能，能够以更声明式的方式处理宽长格式转换。
-
安装janitor：如果尚未安装，需要先安装pyjanitor库。
pip install pyjanitor
- 导入janitor：在代码中导入janitor。
- 使用pivot_longer：指定不变的索引列（index），以及如何将原始列名映射到新的列（names_to）和如何解析原始列名（names_pattern）。names_pattern使用正则表达式来捕获列名的不同部分。
# pip install pyjanitor
import janitor
out_janitor = df.pivot_longer(index=['date', 'other_col'],
names_to=('side', '.value'),
names_pattern=r'([^_]+)_([^_]+)')
print("\n方法三：使用janitor库的pivot_longer")
print(out_janitor)注意事项： janitor库的pivot_longer函数提供了强大的正则表达式匹配能力，使得处理具有复杂命名模式的列变得非常简单。.value占位符指示匹配到的部分应该直接作为新的列名，而不是作为新列的值。虽然引入了外部依赖，但对于频繁进行复杂重塑的用户来说，它可以显著提高代码的可读性和开发效率。
总结
本文介绍了在Pandas DataFrame中将多列堆叠并重塑为更简洁结构的三种主要方法：
- MultiIndex与stack：适用于列名具有清晰分隔符，且希望通过构建多级列索引来灵活控制堆叠过程的场景。它提供了底层控制的强大能力。
- melt与pivot组合：这是一种经典且通用的方法，通过将数据先“融化”再“透视”，分步实现重塑。它逻辑清晰，易于理解和调试，是Pandas数据重塑的基石。
- janitor.pivot_longer：对于追求简洁和声明式语法的用户，特别是当列名模式复杂时，pyjanitor库提供的pivot_longer是一个非常高效且直观的选择，它利用正则表达式简化了列名解析过程。
选择哪种方法取决于具体的数据结构、个人偏好以及对库的熟悉程度。在实际应用中，建议根据数据的复杂性和团队的习惯，选择最适合的工具来高效完成数据重塑任务。
