Pandas DataFrame高级重塑：拼接多级列索引与行索引-Python教程-PHP中文网

Pandas DataFrame高级重塑：拼接多级列索引与行索引

碧海醫心

发布： 2025-11-09 11:36:53

原创

474人浏览过

pandas dataframe高级重塑：拼接多级列索引与行索引

本文旨在教授如何使用Pandas高效地重塑具有多级列索引的DataFrame。我们将通过一个具体示例，演示如何将DataFrame的最低层列索引与行索引进行拼接，并将其转换为新的列名，同时将原有的顶级列索引转换为新的行索引，最终得到一个扁平化、易于分析的数据结构。核心操作包括`stack()`、`transpose()`以及`Index.map()`，帮助用户灵活处理复杂的数据转换需求。

在数据分析和处理中，我们经常需要对DataFrame的结构进行重塑，以适应不同的分析需求或可视化工具。当DataFrame具有多级索引时，这种重塑操作可能会变得复杂。本教程将详细介绍如何将一个具有多级列索引（例如，岛屿和年份）和单级行索引（例如，月份）的DataFrame，转换为以岛屿为行索引，以月份和年份拼接后的字符串为新列名的扁平化结构。

初始DataFrame结构

假设我们有一个DataFrame df，其结构如下所示。它展示了不同岛屿在不同年份的月度数据。

Island St Thomas         St. Croix        
Year        2022    2023      2022    2023
Month                                     
JAN       55,086  60,470    11,550  12,755
FEB       57,929  56,826    12,441  13,289
MAR       72,103  64,249    14,094  15,880
...
NOV       44,500     NaN     9,635     NaN
DEC       58,735     NaN    12,661     NaN

登录后复制

在这个DataFrame中：

列索引是多级的，第一级是Island（St Thomas, St. Croix），第二级是Year（2022, 2023）。
行索引是单级的，代表Month（JAN, FEB, MAR等）。
数据值是各月度数据。

我们的目标是将其重塑为：

行索引为Island（St Thomas, St. Croix）。
列索引为Month和Year的拼接（例如 JAN2022, FEB2022, ... DEC2023）。
最终形成一个2行24列（2个岛屿 x 12个月 x 2年）的DataFrame。

重塑DataFrame的步骤

为了实现上述目标，我们将利用Pandas的stack()、transpose()和Index.map()方法。

步骤一：使用 stack() 移动最低层列索引

df.stack() 方法用于将DataFrame的“列”转换为“行”。具体来说，它会将最低层的列索引（在本例中是Year）移动到行索引中，从而增加行索引的级别。

import pandas as pd

# 假设df是前面提到的初始DataFrame
# ... (此处省略df的创建代码，详情请参考问题描述中的原始代码)

# 示例DataFrame的创建（用于演示，实际使用时请替换为你的df）
data = {
    ('St Thomas', '2022'): ['55,086', '57,929', '72,103', '67,469', '60,092', '67,026', '66,353', '50,660', '24,507', '34,025', '44,500', '58,735'],
    ('St Thomas', '2023'): ['60,470', '56,826', '64,249', '56,321', '49,534', '56,950', '61,110', '42,745', '25,047', '34,462', None, None],
    ('St. Croix', '2022'): ['11,550', '12,441', '14,094', '12,196', '13,385', '14,009', '13,768', '10,673', '6,826', '10,351', '9,635', '12,661'],
    ('St. Croix', '2023'): ['12,755', '13,289', '15,880', '13,092', '16,497', '15,728', '16,879', '12,102', '6,298', '9,398', None, None]
}
months = ['JAN', 'FEB', 'MAR', 'APR', 'MAY', 'JUN', 'JUL', 'AUG', 'SEP', 'OCT', 'NOV', 'DEC']
index = pd.Index(months, name='Month')
columns = pd.MultiIndex.from_product([["St Thomas", "St. Croix"], ["2022", "2023"]], names=["Island", "Year"])
df = pd.DataFrame(data, index=index, columns=columns)


stacked_df = df.stack()
print("--- 经过 stack() 后的 DataFrame ---")
print(stacked_df)

登录后复制

stacked_df 的结构将变为：

Month  Island   Year
JAN    St Thomas 2022    55,086
                 2023    60,470
       St. Croix 2022    11,550
                 2023    12,755
FEB    St Thomas 2022    57,929
                 2023    56,826
...

登录后复制

此时，stacked_df 是一个Series，其索引是一个三级MultiIndex：(Month, Island, Year)。

纳米搜索

纳米搜索：360推出的新一代AI搜索引擎

查看详情

步骤二：使用 T (转置) 交换行与列

接下来，我们需要将Island作为新的行索引，并将(Month, Year)组合作为新的列索引。这可以通过对 stacked_df 进行转置 (.T) 来实现。由于 stacked_df 是一个Series，转置操作会将其转换为一个DataFrame，其中Series的MultiIndex会变为DataFrame的MultiIndex列。

out = stacked_df.T
print("\n--- 经过 T (转置) 后的 DataFrame ---")
print(out)

登录后复制

out 的结构将变为：

Island  St Thomas                                 St. Croix                                 
Month         JAN     FEB     MAR     APR     MAY     JUN     JUL     AUG     SEP     OCT     NOV     DEC     JAN     FEB     MAR     APR     MAY     JUN     JUL     AUG     SEP     OCT     NOV     DEC
Year         2022    2023    2022    2023    2022    2023    2022    2023    2022    2023    2022    2023    2022    2023    2022    2023    2022    2023    2022    2023    2022    2023    2022    2023
St Thomas  55,086  60,470  57,929  56,826  72,103  64,249  67,469  56,321  60,092  49,534  67,026  56,950  66,353  61,110  50,660  42,745  24,507  25,047  34,025  34,462  44,500  58,735     NaN     NaN
St. Croix  11,550  12,755  12,441  13,289  14,094  15,880  12,196  13,092  13,385  16,497  14,009  15,728  13,768  16,879  10,673  12,102   6,826   6,298  10,351   9,398   9,635  12,661     NaN     NaN

登录后复制

注意：上述输出中的行和列是反转的，因为out的索引是Island，而列是(Month, Year)。

步骤三：扁平化列MultiIndex

现在，out DataFrame的列是一个MultiIndex，由(Month, Year)组成。我们需要将它们合并成一个单一的字符串，例如 JAN2022。这可以通过对列索引使用 map() 方法来完成。

out.columns = out.columns.map(lambda x: f'{x[0]}{x[1]}')
# 另一种简洁的写法是：
# out.columns = map(''.join, out.columns)

print("\n--- 最终重塑后的 DataFrame ---")
print(out)

登录后复制

最终的 out DataFrame将是：

          JAN2022 JAN2023 FEB2022 FEB2023 MAR2022 MAR2023 APR2022 APR2023 MAY2022 MAY2023 JUN2022 JUN2023 JUL2022 JUL2023 AUG2022 AUG2023 SEP2022 SEP2023 OCT2022 OCT2023 NOV2022 DEC2022
Island                                                                                                                                                                                   
St Thomas  55,086  60,470  57,929  56,826  72,103  64,249  67,469  56,321  60,092  49,534  67,026  56,950  66,353  61,110  50,660  42,745  24,507  25,047  34,025  34,462  44,500  58,735
St. Croix  11,550  12,755  12,441  13,289  14,094  15,880  12,196  13,092  13,385  16,497  14,009  15,728  13,768  16,879  10,673  12,102   6,826   6,298  10,351   9,398   9,635  12,661

登录后复制

这正是我们想要的结果：以岛屿为行索引，以月份和年份拼接后的字符串为列名。

完整代码示例

import pandas as pd

# 模拟初始DataFrame的创建
# 实际应用中，df将由tabula.read_pdf等方式生成
data = {
    ('St Thomas', '2022'): ['55,086', '57,929', '72,103', '67,469', '60,092', '67,026', '66,353', '50,660', '24,507', '34,025', '44,500', '58,735'],
    ('St Thomas', '2023'): ['60,470', '56,826', '64,249', '56,321', '49,534', '56,950', '61,110', '42,745', '25,047', '34,462', None, None],
    ('St. Croix', '2022'): ['11,550', '12,441', '14,094', '12,196', '13,385', '14,009', '13,768', '10,673', '6,826', '10,351', '9,635', '12,661'],
    ('St. Croix', '2023'): ['12,755', '13,289', '15,880', '13,092', '16,497', '15,728', '16,879', '12,102', '6,298', '9,398', None, None]
}
months = ['JAN', 'FEB', 'MAR', 'APR', 'MAY', 'JUN', 'JUL', 'AUG', 'SEP', 'OCT', 'NOV', 'DEC']
index = pd.Index(months, name='Month')
columns = pd.MultiIndex.from_product([["St Thomas", "St. Croix"], ["2022", "2023"]], names=["Island", "Year"])
df = pd.DataFrame(data, index=index, columns=columns)

print("原始 DataFrame:")
print(df)

# 执行重塑操作
out = df.stack().T
out.columns = out.columns.map(lambda x: f'{x[0]}{x[1]}')

print("\n重塑后的 DataFrame:")
print(out)

登录后复制

注意事项

数据类型转换： 在实际应用中，如果数据包含逗号（如 55,086），可能需要先进行数据清洗，将其转换为数值类型（例如 pd.to_numeric(df.replace(',', '', regex=True))），以便进行后续的数值计算。本教程主要关注DataFrame的结构重塑。
NaN 值的处理： stack() 默认会丢弃 NaN 值。如果希望保留所有可能的组合，即使它们的值为 NaN，可以使用 df.stack(dropna=False)。在本例中，由于转置后 NaN 值仍然存在，影响不大，但了解其行为很重要。
索引层级： stack() 默认操作的是最内层的列索引。如果需要操作其他层级，可以使用 df.stack(level=N)，其中 N 是索引的整数位置或名称。
性能： 对于非常大的DataFrame，这些操作可能会消耗较多的内存和计算时间。在处理海量数据时，应考虑性能优化。

总结

本教程详细介绍了如何利用Pandas的stack()、transpose()和Index.map()方法，将一个具有复杂多级列索引的DataFrame重塑为更扁平、更易于分析的结构。这种技术在处理从非结构化数据源（如PDF表格）中提取的数据时尤其有用，能够帮助数据科学家和分析师高效地准备数据，以进行后续的统计分析、机器学习建模或数据可视化。掌握这些重塑技巧，将极大地提升您使用Pandas处理复杂数据结构的能力。

以上就是Pandas DataFrame高级重塑：拼接多级列索引与行索引的详细内容，更多请关注php中文网其它相关文章！