如何将Pandas DataFrame中的NumPy数组展开为独立列-Python教程-PHP中文网

如何将Pandas DataFrame中的NumPy数组展开为独立列

DDD

发布： 2025-11-02 10:07:00

原创

256人浏览过

如何将Pandas DataFrame中的NumPy数组展开为独立列

本教程详细介绍了如何在pandas dataframe中将包含numpy数组的列（如键和值）高效地展开为新的独立列。文章涵盖了两种主要场景：当键在所有行中保持一致时，以及当键在不同行中可能不一致时，并提供了相应的python代码示例和解释，旨在帮助用户灵活处理复杂的数据结构转换。

在数据分析和处理过程中，我们经常会遇到DataFrame中某些列包含列表或NumPy数组的情况。当这些数组代表着一组键值对，并且我们希望将这些键作为新的列名，将对应的值作为新的列数据时，就需要进行数据结构的转换。本教程将详细讲解如何使用Pandas高效地实现这一目标。

首先，我们创建一个示例DataFrame，它包含两列常规数据（'col 1', 'col 2'）以及两列NumPy数组（'keys', 'values'）。

import pandas as pd
import numpy as np

source_df = pd.DataFrame(
    [
        ['data_A1', 'data_B1', np.array(['key1', 'key2', 'key3']), np.array(['value1a', 'value2a', 'value3a'])],
        ['data_A2', 'data_B2', np.array(['key1', 'key2', 'key3']), np.array(['value1b', 'value2b', 'value3b'])]
    ],
    columns=['col 1', 'col 2', 'keys', 'values']
)

print("原始DataFrame:")
print(source_df)

登录后复制

输出的 source_df 如下所示：

  col 1    col 2                  keys                     values
0  data_A1  data_B1  [key1, key2, key3]  [value1a, value2a, value3a]
1  data_A2  data_B2  [key1, key2, key3]  [value1b, value2b, value3b]

登录后复制

我们的目标是将 keys 列中的元素作为新的列名，将 values 列中的对应元素作为这些新列的值，同时保留 col 1 和 col 2。

场景一：键（keys）在所有行中一致

当DataFrame中的 keys 列在所有行中都包含相同的NumPy数组（即所有行的键集合完全相同且顺序一致）时，处理起来相对简单和高效。

方法一：使用 drop 和 join

这种方法首先将原始DataFrame中的 keys 和 values 列删除，然后利用 values 列的数据和 keys 列的第一个元素的键来构建一个新的DataFrame，最后将新DataFrame与原始DataFrame的剩余部分进行连接。

# 复制一份DataFrame以演示不同的方法
df_consistent_keys = source_df.copy()

# 1. 移除原始的 'keys' 和 'values' 列
# 2. 使用 'values' 列的数据创建新的DataFrame，并以第一行的 'keys' 作为列名
# 3. 将新创建的DataFrame与原始DataFrame的剩余部分进行连接
result_df_join = (df_consistent_keys.drop(columns=['keys', 'values'])
                  .join(pd.DataFrame(df_consistent_keys['values'].tolist(),
                                     columns=df_consistent_keys['keys'].iloc[0]))
                 )

print("\n场景一 - 方法一 (使用join):")
print(result_df_join)

登录后复制

输出结果：

场景一 - 方法一 (使用join):
     col 1    col 2     key1     key2     key3
0  data_A1  data_B1  value1a  value2a  value3a
1  data_A2  data_B2  value1b  value2b  value3b

登录后复制

解释：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

df_consistent_keys.drop(columns=['keys', 'values'])：创建了一个不包含 keys 和 values 列的DataFrame副本。
df_consistent_keys['values'].tolist()：将 values 列中的NumPy数组转换为Python列表的列表，这是 pd.DataFrame 构造函数能够直接处理的格式。
df_consistent_keys['keys'].iloc[0]：由于键在所有行中都是一致的，我们可以安全地取第一行的 keys 数组作为新DataFrame的列名。
pd.DataFrame(...)：根据 values 列表和提取的列名创建了一个新的DataFrame。
.join(...)：将新创建的DataFrame与原始DataFrame的剩余部分按索引进行连接。

方法二：原地修改DataFrame

如果希望直接在现有DataFrame上进行修改，可以使用 pop 方法来提取列并同时删除它们，然后直接赋值。

# 复制一份DataFrame以演示不同的方法
df_inplace = source_df.copy()

# 使用 pop 提取 'keys' 列，并用其第一个元素作为新列名
# 使用 pop 提取 'values' 列，并将其转换为DataFrame后赋值
df_inplace[df_inplace.pop('keys').iloc[0]] = pd.DataFrame(df_inplace.pop('values').tolist())

print("\n场景一 - 方法二 (原地修改):")
print(df_inplace)

登录后复制

输出结果：

场景一 - 方法二 (原地修改):
     col 1    col 2     key1     key2     key3
0  data_A1  data_B1  value1a  value2a  value3a
1  data_A2  data_B2  value1b  value2b  value3b

登录后复制

解释：

df_inplace.pop('keys')：从 df_inplace 中删除 keys 列，并返回该列的数据（一个Series）。
df_inplace.pop('keys').iloc[0]：获取被删除的 keys 列的第一个元素（即 ['key1', 'key2', 'key3'] NumPy数组），作为新列名的列表。
df_inplace.pop('values').tolist()：类似地，删除 values 列并将其内容转换为列表的列表。
pd.DataFrame(...)：将 values 列表的列表转换为一个新的DataFrame。
df_inplace[...] = ...：将这个新DataFrame直接赋值给 df_inplace，Pandas会根据新DataFrame的列名和索引将其合并到 df_inplace 中。

场景二：键（keys）在不同行中不一致

当 keys 列在不同行中可能包含不同的NumPy数组（即键集合或顺序可能不一致）时，我们需要一种更通用的方法来处理。在这种情况下，直接使用 iloc[0] 作为所有行的列名将不再适用。

首先，我们创建一个示例DataFrame，其中 keys 列在不同行中有所不同。

source_df_non_identical = pd.DataFrame(
    [
        ['data_C1', 'data_D1', np.array(['key1', 'key2', 'key3']), np.array(['value1c', 'value2c', 'value3c'])],
        ['data_C2', 'data_D2', np.array(['key3', 'key4', 'key1']), np.array(['value3d', 'value4d', 'value1d'])]
    ],
    columns=['col 1', 'col 2', 'keys', 'values']
)

print("\n原始DataFrame (键不一致):")
print(source_df_non_identical)

登录后复制

输出的 source_df_non_identical 如下所示：

原始DataFrame (键不一致):
     col 1    col 2                keys                       values
0  data_C1  data_D1  [key1, key2, key3]  [value1c, value2c, value3c]
1  data_C2  data_D2  [key3, key4, key1]  [value3d, value4d, value1d]

登录后复制

方法：使用字典列表构建DataFrame

这种方法的核心思想是，对于每一行，将 keys 数组和 values 数组压缩（zip）成键值对，然后转换为字典。将所有行的字典集合起来形成一个字典列表，再用这个字典列表构建一个新的DataFrame。这种方法能够自动处理不同行中键的缺失或存在。

# 复制一份DataFrame
df_non_identical_keys = source_df_non_identical.copy()

# 1. 移除原始的 'keys' 和 'values' 列
# 2. 遍历 'keys' 和 'values' 列，将每行的键值对组合成字典
# 3. 使用字典列表创建新的DataFrame
# 4. 将新创建的DataFrame与原始DataFrame的剩余部分进行连接
result_df_non_identical = (df_non_identical_keys.drop(columns=['keys', 'values'])
                           .join(pd.DataFrame([dict(

登录后复制

以上就是如何将Pandas DataFrame中的NumPy数组展开为独立列的详细内容，更多请关注php中文网其它相关文章！