Pandas DataFrame多列重塑：将宽表转换为长表的实用方法-Python教程-PHP中文网

Pandas DataFrame多列重塑：将宽表转换为长表的实用方法

聖光之護

发布： 2025-11-18 12:24:05

原创

402人浏览过

Pandas DataFrame多列重塑：将宽表转换为长表的实用方法

本文详细介绍了在pandas dataframe中将多个具有相似前缀的列（如`right_count`、`left_count`）高效地重塑为新的结构化长表的方法。通过自定义multiindex、结合`melt`与`pivot`函数，以及利用`janitor`库的`pivot_longer`，您将学会如何将宽格式数据转换为更易于分析的长格式，从而提升数据处理的灵活性和效率。

在数据分析和处理中，我们经常会遇到需要将DataFrame从“宽格式”转换为“长格式”的情况。宽格式数据通常意味着同一类型的数据（如计数、总和）分散在多个列中，这些列通过前缀或后缀区分不同的类别。例如，right_count和left_count表示不同“侧面”的计数。将这类数据转换为长格式，可以使其更符合整洁数据原则，便于后续的聚合分析和可视化。

本文将以一个具体的示例出发，演示如何将包含right_count、right_sum、left_count、left_sum等列的DataFrame，重塑为包含side（表示左右）、count和sum的新列的DataFrame。

首先，我们定义示例DataFrame：

import pandas as pd

df = pd.DataFrame({
    'date': ['2023-12-01', '2023-12-05', '2023-12-07'],
    'other_col': ['a', 'b', 'c'],
    'right_count': [4, 7, 9],
    'right_sum': [2, 3, 5],
    'left_count': [1, 8, 5],
    'left_sum': [0, 8, 4]
})

print("原始DataFrame:")
print(df)

登录后复制

原始DataFrame结构如下：

         date other_col  right_count  right_sum  left_count  left_sum
0  2023-12-01         a            4          2           1         0
1  2023-12-05         b            7          3           8         8
2  2023-12-07         c            9          5           5         4

登录后复制

我们的目标是将其转换为以下结构：

         date other_col   side  count  sum
0  2023-12-01         a  right      4    2
1  2023-12-05         b  right      7    3
2  2023-12-07         c  right      9    5
3  2023-12-01         a   left      1    0
4  2023-12-05         b   left      8    8
5  2022-12-07         c   left      5    4

登录后复制

下面将介绍三种实现这种重塑的方法。

方法一：利用MultiIndex进行自定义重塑

这种方法通过巧妙地利用Pandas的MultiIndex功能，将列名拆分为多级索引，然后通过stack操作完成重塑。

设置索引: 首先，将不需要重塑的列（date, other_col）设置为DataFrame的索引。
拆分列名创建MultiIndex: 使用str.split('_', expand=True)将列名（如right_count）拆分为两部分（right和count），并将其设置为新的列索引。
重命名列索引: 为新的多级列索引命名，第一级为side，第二级不命名（None）。
堆叠（Stack）: 对side这一级索引进行堆叠操作，将其从列转换为行。
重置索引: 最后，将所有索引重置为常规列，得到最终的长格式DataFrame。

out_multiindex = (df
    .set_index(['date', 'other_col'])
    .pipe(lambda x: x.set_axis(x.columns.str.split('_', expand=True), axis=1))
    .rename_axis(columns=['side', None])
    .stack('side')
    .reset_index()
)

print("\n方法一：MultiIndex重塑结果:")
print(out_multiindex)

登录后复制

输出示例:

爱图表

AI驱动的智能化图表创作平台

查看详情

         date other_col   side  count  sum
0  2023-12-01         a   left      1    0
1  2023-12-01         a  right      4    2
2  2023-12-05         b   left      8    8
3  2023-12-05         b  right      7    3
4  2023-12-07         c   left      5    4
5  2023-12-07         c  right      9    5

登录后复制

方法二：结合melt与pivot函数

这种方法是Pandas中处理宽长表转换的经典组合，melt用于将宽表转换为更长的格式，而pivot则用于将特定列的值转换为新的列。

melt操作: 使用pd.melt将right_count、right_sum、left_count、left_sum这些列“融化”到一行中。id_vars参数指定不变的标识列，var_name指定新生成的变量列的名称（这里是side），value_name指定新生成的值列的名称。
拆分side列: melt操作后，side列将包含right_count、left_sum等字符串。我们需要将其拆分为side（left/right）和col（count/sum）两部分。
pivot操作: 最后，使用pivot函数将col列的值转换为新的列名（count和sum），并以date、other_col和新拆分出的side作为新的行索引。
重置索引与清理: 重置索引并将列索引名称清除。

tmp = df.melt(['date', 'other_col'], var_name='temp_col')
tmp[['side', 'col']] = tmp['temp_col'].str.split('_', n=1, expand=True)

out_melt_pivot = (tmp.pivot(index=['date', 'other_col', 'side'],
                            columns='col', values='value')
                     .reset_index()
                     .rename_axis(columns=None)
)

print("\n方法二：melt与pivot组合结果:")
print(out_melt_pivot)

登录后复制

输出示例:

         date other_col   side  count  sum
0  2023-12-01         a   left      1    0
1  2023-12-01         a  right      4    2
2  2023-12-05         b   left      8    8
3  2023-12-05         b  right      7    3
4  2023-12-07         c   left      5    4
5  2023-12-07         c  right      9    5

登录后复制

方法三：使用janitor库的pivot_longer

pyjanitor是一个提供了许多实用数据清理和转换函数的Python库，其pivot_longer函数专门用于处理此类宽长表转换，语法更为直观简洁。

安装janitor: 如果尚未安装，需要先通过pip安装。
```
pip install pyjanitor
```
登录后复制
导入janitor: 在代码中导入该库。
使用pivot_longer:
- index: 指定作为标识符的列，这些列不会被重塑。
- names_to: 一个元组，指定新生成的两列的名称，例如('side', '.value')。.value是一个特殊占位符，表示从原列名中提取出的值将直接作为新的列名。
- names_pattern: 一个正则表达式，用于从原始列名中提取side和.value部分。r'([^_]+)_([^_]+)'表示匹配下划线分隔的两部分，并分别捕获。

# pip install pyjanitor
import janitor

out_janitor = df.pivot_longer(index=['date', 'other_col'],
                              names_to=('side', '.value'),
                              names_pattern=r'([^_]+)_([^_]+)')

print("\n方法三：janitor.pivot_longer结果:")
print(out_janitor)

登录后复制

输出示例:

         date other_col   side  count  sum
0  2023-12-01         a  right      4    2
1  2023-12-05         b  right      7    3
2  2023-12-07         c  right      9    5
3  2023-12-01         a   left      1    0
4  2023-12-05         b   left      8    8
5  2023-12-07         c   left      5    4

登录后复制

总结与选择建议

以上三种方法都能有效地将DataFrame从宽格式重塑为长格式，但各有特点：

方法一（MultiIndex自定义重塑）: 这种方法纯粹使用Pandas内置功能，灵活性高，对于理解Pandas索引和重塑机制非常有帮助。代码相对紧凑，但对于初学者可能略显复杂。
方法二（melt与pivot组合）: 这是Pandas中非常经典且强大的宽长表转换模式。melt负责“拉平”数据，pivot负责“旋转”数据。它非常通用，适用于多种复杂的重塑场景，理解其工作原理对掌握Pandas数据处理至关重要。
方法三（janitor.pivot_longer）: 如果您的工作流中经常涉及这类按模式拆分列名并重塑的需求，janitor库的pivot_longer提供了最简洁、最直观的API。它将复杂的逻辑封装起来，大大提高了代码的可读性和编写效率。对于追求代码简洁和开发效率的用户，强烈推荐使用。

在实际应用中，您可以根据个人偏好、项目依赖以及对代码可读性和维护性的要求来选择最适合的方法。对于大多数按模式重塑列名的情况，janitor.pivot_longer无疑是最高效且易于理解的选择。

以上就是Pandas DataFrame多列重塑：将宽表转换为长表的实用方法的详细内容，更多请关注php中文网其它相关文章！