Pandas DataFrame中通过单次赋值从列值创建多列-Python教程-PHP中文网

Pandas DataFrame中通过单次赋值从列值创建多列

心靈之曲

发布： 2025-11-02 11:15:19

原创

201人浏览过

Pandas DataFrame中通过单次赋值从列值创建多列

本教程详细介绍了如何在pandas dataframe中，通过一次赋值操作，将现有列的字符串值拆分为多个新列。主要利用`series.str.split()`方法结合`n`参数和`expand=true`，并探讨了如何灵活处理原始列的保留与列顺序的调整，以高效地从结构化字符串中提取数据。

在数据处理过程中，我们经常会遇到需要从DataFrame的某一列中提取结构化信息，并将其分散到多个新列的场景。例如，一个包含文件路径的字符串列可能需要被拆分为年、月、日等独立字段。Pandas提供了强大且灵活的工具来高效地完成这项任务，特别是通过Series.str.split()方法结合单次赋值。

场景示例

假设我们有一个Pandas DataFrame，其中包含时间戳和文件路径信息：

import pandas as pd

data = {'timestamp': ['2023-12-20 10:09:52.011'],
        'filename': ['2023/12/20/1703056183.log']}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

登录后复制

原始DataFrame如下：

                 timestamp                      filename
0  2023-12-20 10:09:52.011  2023/12/20/1703056183.log

登录后复制

我们的目标是从filename列中提取“年”、“月”、“日”信息，并将其作为新的列添加到DataFrame中，最终期望的输出结构类似：

                 timestamp  year month day                   filename
0  2023-12-20 10:09:52.011  2023    12  20  2023/12/20/1703056183.log

登录后复制

使用 Series.str.split() 拆分列值

Pandas的Series.str.split()方法是处理字符串列拆分的利器。它允许我们根据指定的分隔符将字符串拆分成列表，并通过expand=True参数直接将这些列表转换为新的DataFrame列。

关键参数说明：

pat: 分隔符，可以是字符串或正则表达式。
n: 指定拆分的次数。例如，n=3表示最多拆分3次，生成4个部分。
expand=True: 如果为True，则返回一个DataFrame，其列包含拆分后的各个部分；如果为False，则返回一个Series，其中每个元素是一个列表。

方法一：使用 df.pop() 并在拆分时替换原始列

一种直接的方法是使用df.pop()来获取并移除原始的filename列，然后对其进行拆分，并将结果直接赋值给新的列名。这种方法会改变原始filename列的内容，将其替换为拆分后的最后一个部分。

import pandas as pd

data = {'timestamp': ['2023-12-20 10:09:52.011'],
        'filename': ['2023/12/20/1703056183.log']}
df = pd.DataFrame(data)

# 使用pop取出'filename'列并进行拆分，n=3表示最多拆分3次
# expand=True将拆分结果直接扩展为多列
# 拆分后的结果将依次赋值给'year','month','day','filename'
df[['year','month','day','filename']] = df.pop('filename').str.split('/', n=3, expand=True)

print("\n方法一：使用df.pop() 替换原始filename列")
print(df)

登录后复制

输出结果：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

方法一：使用df.pop() 替换原始filename列
                 timestamp  year month day        filename
0  2023-12-20 10:09:52.011  2023    12  20  1703056183.log

登录后复制

注意事项： 在此方法中，原始的filename列被df.pop()移除，然后拆分后的第四个部分（1703056183.log）被重新赋值给了名为filename的新列。这意味着原始的完整文件路径2023/12/20/1703056183.log在DataFrame中不再存在。

方法二：保留原始列并自定义列顺序

如果需要保留原始的filename列，并且希望新生成的列（year, month, day）位于特定位置，例如在filename列之前，则需要更精细的控制。我们可以先将拆分结果赋值给新的临时列，然后重新排列DataFrame的列顺序。

import pandas as pd

data = {'timestamp': ['2023-12-20 10:09:52.011'],
        'filename': ['2023/12/20/1703056183.log']}
df = pd.DataFrame(data)

# 1. 拆分'filename'列，并将结果赋值给新的列，包括一个临时列'_'来接收未使用的部分
# 这里的'filename'列仍然是原始的完整路径，因为我们没有使用pop
df[['year','month','day','_']] = df['filename'].str.split('/', n=3, expand=True)

# 2. 重新排列DataFrame的列顺序
# df.columns.drop(['filename','_']) 移除了旧的'filename'列和临时列'_'
# .union(['filename'], sort=False) 将原始的'filename'列添加回列的末尾
# 最终的列顺序是：timestamp, year, month, day, filename
df = df[df.columns.drop(['filename','_']).union(['filename'], sort=False)]

print("\n方法二：保留原始filename列并自定义列顺序")
print(df)

登录后复制

输出结果：

方法二：保留原始filename列并自定义列顺序
                 timestamp  year month day                   filename
0  2023-12-20 10:09:52.011  2023    12  20  2023/12/20/1703056183.log

登录后复制

此方法首先将拆分结果赋值给year, month, day和临时列_，保持原始filename列不变。然后，通过构建新的列顺序列表，我们能够精确控制所有列的最终位置，包括将原始的filename列放在最后。df.columns.drop(['filename','_']).union(['filename'], sort=False) 这行代码的逻辑是：先从当前所有列中移除原始的filename列和临时列_，然后将原始的filename列重新添加到列表的末尾，并确保不进行排序 (sort=False)，以保持我们想要的顺序。