Pandas DataFrame：从单一列高效拆分创建多列的技巧

本教程演示了如何在pandas dataframe中，利用series.str.split方法，通过一次性赋值从一个字符串列中高效地提取并创建多个新列。文章详细介绍了如何从文件路径中解析出年、月、日等信息，并提供了两种实现方案：一种是直接修改原列，另一种是在保留原列内容的同时，精确控制新列的顺序，以适应不同的数据处理场景。

在数据分析和处理中，我们经常会遇到需要从DataFrame的某一列中提取多个信息，并将其分别存储到新的列中的情况。例如，从一个包含文件路径的字符串列中解析出年、月、日等日期组成部分。Pandas提供了强大的字符串操作功能，其中Series.str.split方法结合expand=True参数，能够以一次性赋值的方式高效地完成这项任务。

初始数据结构

假设我们有一个Pandas DataFrame，其中包含一个timestamp列和一个filename列。filename列的格式为年/月/日/文件名.log，我们需要从中提取出year、month和day这三个信息作为新的列。

import pandas as pd

data = {
    'timestamp': ['2023-12-20 10:09:52.011'],
    'filename': ['2023/12/20/1703056183.log']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

原始DataFrame:
                 timestamp                   filename
0  2023-12-20 10:09:52.011  2023/12/20/1703056183.log

我们的目标是生成如下结果：

                 timestamp  year month day                   filename
0  2023-12-20 10:09:52.011  2023    12  20  2023/12/20/1703056183.log

解决方案

我们将介绍两种主要方法来实现这一目标，它们在处理原始filename列的保留与否以及新列的顺序控制上有所不同。

方法一：使用 DataFrame.pop() 直接赋值（会修改原始列）

这种方法适用于你希望将原始filename列替换为拆分后的最后一部分，并且将拆分出的前几部分作为新列。

1. df.pop('filename'): 这个操作会从DataFrame中移除filename列，并返回该列的Series。
2. .str.split('/', n=3, expand=True):
   • str.split('/')：以斜杠/作为分隔符对字符串进行拆分。
   • n=3：这是一个关键参数，它指定了最大拆分次数。这意味着字符串最多会被拆分成4个部分。对于2023/12/20/1703056183.log，它会拆分成['2023', '12', '20', '1703056183.log']。如果n值过大，可能会导致多余的空列。
   • expand=True：这个参数至关重要，它指示str.split将拆分结果直接扩展为新的DataFrame列，而不是返回一个包含列表的Series。

df_method1 = df.copy() # 使用副本进行演示，避免影响原始df
df_method1[['year', 'month', 'day', 'filename']] = df_method1.pop('filename').str.split('/', n=3, expand=True)
print("\n方法一结果 (filename列被修改):")
print(df_method1)

输出：

方法一结果 (filename列被修改):
                 timestamp  year month day        filename
0  2023-12-20 10:09:52.011  2023    12  20  1703056183.log

注意事项： 此方法会改变原始filename列的内容。如示例所示，filename列现在只包含了原始路径的最后一部分（1703056183.log）。如果需要保留完整的原始filename列，请使用方法二。

方法二：保留原始列并精确控制新列顺序

如果你的需求是保留完整的原始filename列，并且将新创建的year、month、day列插入到特定位置，则需要稍微不同的策略。

1. 创建临时列: 首先，我们将filename列拆分，并将结果赋值给新的列，包括一个用于存储原始filename剩余部分的临时列（例如_）。
2. 重新排序列: 然后，通过选择并重新组合列，达到期望的顺序。

df_method2 = df.copy() # 使用副本进行演示
# 1. 拆分并创建新列，同时使用一个临时列 '_' 存储剩余部分
df_method2[['year', 'month', 'day', '_']] = df_method2['filename'].str.split('/', n=3, expand=True)

# 2. 重新排序列，保留原始 filename 列并放置在最后
# df.columns.drop(['filename', '_'])：删除原始filename列和临时列
# .union(['filename'], sort=False)：将原始filename列重新添加到末尾，并保持顺序
df_method2 = df_method2[df_method2.columns.drop(['filename', '_']).union(['filename'], sort=False)]

print("\n方法二结果 (保留原始filename列并控制顺序):")
print(df_method2)

输出：

方法二结果 (保留原始filename列并控制顺序):
                 timestamp  year month day                   filename
0  2023-12-20 10:09:52.011  2023    12  20  2023/12/20/1703056183.log

注意事项：

• df.columns.drop(['filename', '_']) 会创建一个新的索引，其中不包含指定的列。
• .union(['filename'], sort=False) 会将原始的filename列添加到这个索引的末尾，sort=False确保了添加的顺序。
• 这种方法更加灵活，因为它允许你在不修改原始filename内容的前提下，精确控制新列的创建和排列顺序。

总结

本教程展示了在Pandas DataFrame中从单一字符串列高效创建多列的两种实用方法。

• Series.str.split(..., n=N, expand=True) 是核心工具，其中：
  • n参数用于控制最大拆分次数，这对于只提取前N个部分而保留剩余字符串非常有用。
  • expand=True是确保拆分结果直接转换为DataFrame列的关键。
• DataFrame.pop() 方法适用于当你希望用拆分后的部分替换原始列时，它能简洁地完成赋值操作。
• 如果你需要保留原始列的完整内容，并且对新列的顺序有特定要求，那么拆分到临时列并随后重新排序DataFrame的列是更灵活的选择。

根据具体的业务需求和数据处理流程，选择最适合的方法可以显著提高数据清洗和准备的效率。掌握这些技巧将使你在处理Pandas DataFrame中的字符串数据时更加得心应手。

以上就是Pandas DataFrame：从单一列高效拆分创建多列的技巧的详细内容，更多请关注php中文网其它相关文章！