Pandas DataFrame 多列列表展开与数据对齐教程-Python教程-PHP中文网

Pandas DataFrame 多列列表展开与数据对齐教程

霞舞

发布： 2025-12-03 13:19:18

原创

534人浏览过

pandas dataframe 多列列表展开与数据对齐教程

本教程详细介绍了如何使用 Pandas 处理 DataFrame 中包含列表的列，特别是当需要同时展开多个列并将不同长度的列表进行同步对齐时。通过标准化数据类型、填充缺失值以及利用 `explode` 方法，最终实现将列表元素拆分为独立行，并对关联列进行索引化处理，确保数据结构满足复杂分析需求。

引言

在数据分析和处理中，我们经常会遇到 Pandas DataFrame 中某些列的单元格包含列表（list）数据，而其他单元格可能只包含单个值的情况。当需要对这些列表中的每个元素进行独立分析时，就需要将它们“展开”成多行。更具挑战性的是，如果需要同时展开多个列，并且这些列中的列表长度可能不一致，我们还需要确保数据能够正确对齐。本教程将详细介绍如何解决这一常见的数据整理问题，包括数据类型标准化、列表长度同步以及多列展开后的辅助列处理。

假设我们有一个 DataFrame，其中 File Value 和 True Value 列可能包含字符串或字符串列表，我们希望将这些列表中的每个元素转换为单独的行，同时保持 File 和 Color 列的关联信息。此外，对于被展开的行，我们希望 Color 列能够添加一个索引后缀（例如 blue_0, blue_1），并且对于非列表的原始行，Color 列保持不变。

原始 DataFrame 示例：

   File    Color         File Value              True Value
    1       blue    ['123', 'abc', 'tvr']    ['123', 'abc', 'tvr']
    2       green   ['jlak', 'abc', 'vds']   ['123', 'ffs', 'tvr']
    3       red     ['vssf', 'blue', '15a']  ['15a', 'asd', '15a', '234']
    4       black      'fvg'                     'fvg'

登录后复制

期望的输出 DataFrame 结构：

Dreamina

字节跳动推出的AI绘画工具，用简单的文案创作精美的图片

436

查看详情

   File     Color         File Value              True Value
    1       blue_0          '123'                    '123'
    1       blue_1          'abc'                    'abc'
    1       blue_2          'tvr'                    'tvr'
    2       green_0         'jlak'                   '123'
    2       green_1         'abc'                    'ffs'
    2       green_2         'vds'                    'tvr'
    3       red_0           'vssf'                   '15a'
    3       red_1           'blue'                   'asd'
    3       red_2           '15a'                    '15a'
    3       red_3            None                    '234'
    4       black           'fvg'                    'fvg'

登录后复制

1. 构建初始 DataFrame

首先，我们创建用于演示的 Pandas DataFrame。为了避免列名中的空格可能导致的问题，我们将 File Value 和 True Value 改为 File_Value 和 True_Value。

import pandas as pd

df = pd.DataFrame(
    dict(
        File=[1, 2, 3, 4],
        Color=["blue", "green", "red", "black"],
        File_Value=[
            ["123", "abc", "tvr"],
            ["jlak", "abc", "vds"],
            ["vssf", "blue", "15a"],
            "fvg",
        ],
        True_Value=[
            ["123", "abc", "tvr"],
            ["123", "ffs", "tvr"],
            ["15a", "asd", "15a", "234"],
            "fvg",
        ],
    )
)

print("原始 DataFrame:")
print(df)

登录后复制

2. 数据标准化：将所有目标单元格转换为列表

在进行 explode 操作之前，确保所有目标列（File_Value 和 True_Value）中的单元格都以列表形式存在，即使它们最初是单个值。这有助于后续处理的统一性。同时，为了后续正确处理 Color 列的索引化，我们需要记录哪些行最初是列表类型。

def normalize_to_list(x):
    """将非列表值转换为单元素列表，列表值保持不变。"""
    if not isinstance(x, list):
        return [x]
    return x

# 标记哪些行最初是列表，用于后续Color列的条件处理
# 这里我们检查 File_Value 是否为列表，因为它通常是决定是否展开的主要列
df['was_list'] = df['File_Value'].apply(lambda x: isinstance(x, list))

# 对目标列应用列表标准化
df[['File_Value', 'True_Value']] = df[['File_Value', 'True_Value']].applymap(normalize_to_list)

print("\n步骤2：标准化为列表后的 DataFrame:")
print(df)

登录后复制

DataFrame 状态分析： 此时，File_Value 和 True_Value 列中的所有单元格都已是列表。例如，原始的 'fvg' 现在变成了 ['fvg']。was_list 列记录了原始数据类型，这对于区分哪些行的 Color 需要添加索引后缀至关重要。