利用Pandas的str.split高效拆分列并生成多列

本文详细介绍了如何在pandas dataframe中，通过一次赋值操作，将现有列的字符串值拆分为多个新列。我们将探讨使用`series.str.split`结合`n`参数和`expand=true`的两种主要方法，包括利用`dataframe.pop`进行原地修改，以及通过创建临时列并重新排序来保留原始列内容的策略，旨在帮助读者高效处理数据清洗和特征工程任务。

在数据处理过程中，我们经常需要从一个包含复合信息的字符串列中提取出多个独立的字段，并将它们作为新的列添加到DataFrame中。例如，一个文件路径可能包含年、月、日等信息，我们需要将其拆分出来以便后续分析。Pandas提供了强大的字符串操作功能，尤其是Series.str.split方法，能够高效地完成这项任务。

初始数据结构

假设我们有一个Pandas DataFrame，其中包含时间戳和文件路径信息，如下所示：

import pandas as pd

data = {'timestamp': ['2023-12-20 10:09:52.011'],
        'filename': ['2023/12/20/1703056183.log']}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

我们的目标是从filename列中提取出“年”、“月”、“日”作为新的列，并将其添加到DataFrame中，同时保持原始filename列的完整性或根据需求进行修改。

方法一：使用 DataFrame.pop() 结合 str.split()

这种方法适用于当原始列的内容可以被替换为拆分后的部分，或者不再需要原始列的完整内容时。DataFrame.pop() 方法会从DataFrame中移除指定的列并返回该列，这使得我们可以在链式操作中直接对其进行字符串拆分。

核心步骤是利用Series.str.split()方法。该方法有几个关键参数：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

• sep：分隔符，本例中为/。
• n：指定最大拆分次数。如果设置为3，则字符串最多被拆分成4部分。这对于我们只关心前三部分（年、月、日）而将剩余部分作为一整块处理非常有用。
• expand=True：将拆分后的列表扩展为独立的列，并返回一个DataFrame。

# 示例代码
df_method1 = df.copy() # 使用副本，避免修改原始df
df_method1[['year', 'month', 'day', 'filename_suffix']] = df_method1.pop('filename').str.split('/', n=3, expand=True)

# 注意：这里为了清晰表达，将剩余部分命名为 'filename_suffix'
# 如果原始问题中希望 'filename' 列被替换为 '1703056183.log'，则可以直接命名为 'filename'
# df_method1[['year', 'month', 'day', 'filename']] = df_method1.pop('filename').str.split('/', n=3, expand=True)

print("\n方法一：使用 pop() 后的DataFrame (filename列被修改):")
print(df_method1)

注意事项： 使用df.pop('filename')会从DataFrame中移除原始的filename列。拆分后的第四部分（即1703056183.log）将作为新的filename列（或此处示例中的filename_suffix）被添加。因此，原始的完整文件路径信息在filename列中将不再存在。

方法二：不使用 pop() 并重新排序以保留原始列

如果我们需要保留原始的filename列及其完整内容，同时添加新的拆分列，则可以采用以下策略：首先将拆分结果赋值给新的临时列，然后通过DataFrame的列选择和重新排序来达到预期效果。

# 示例代码
df_method2 = df.copy() # 使用副本，避免修改原始df

# 1. 将拆分结果赋给新的临时列。
# 注意：这里创建了一个额外的临时列 '_' 来接收最后一部分，以便后续丢弃。
df_method2[['year', 'month', 'day', '_']] = df_method2['filename'].str.split('/', n=3, expand=True)

# 2. 重新组织列的顺序。
# 首先获取所有列名，排除 'filename' 和 '_'。
# 然后将 'filename' 添加到列表的末尾（或你希望的位置）。
desired_columns_order = df_method2.columns.drop(['filename', '_']).tolist() + ['filename']
df_method2 = df_method2[desired_columns_order]

print("\n方法二：保留原始 filename 列并重新排序后的DataFrame:")
print(df_method2)

核心原理：

1. df['filename'].str.split('/', n=3, expand=True) 会返回一个包含四列的新DataFrame。我们将这四列分别赋值给'year', 'month', 'day' 和一个临时的'_'列。
2. 为了获得期望的列顺序（例如：timestamp, year, month, day, filename），我们首先构建一个不包含filename和临时_列的列名列表。
3. 然后，我们将原始的filename列名追加到这个列表的末尾（或者任何你希望的位置），最后使用这个新的列名列表对DataFrame进行列选择和重新排序。

关键参数 n 和 expand=True

• n 参数： 在str.split(sep, n=N)中，n参数指定了最大拆分次数。这意味着字符串最多会被拆分成N+1个部分。在本例中，n=3意味着会进行三次拆分，产生四列。这对于我们只需要路径的前几部分而将剩余部分视为一个整体非常有用。
• expand=True： 这个参数至关重要。当设置为True时，str.split会返回一个DataFrame，其中每一列对应一个拆分后的部分。如果设置为False（默认值），它会返回一个Series，其中每个元素是一个包含所有拆分部分的列表。

总结

通过上述两种方法，我们可以灵活地从Pandas DataFrame的单个字符串列中提取并创建多个新列：

• 方法一 (pop() 结合 str.split()): 适用于当原始列的内容可以被拆分后的部分替换，且不需要保留原始完整字符串的情况。其优点是代码简洁。
• 方法二 (不使用 pop() 并重新排序): 适用于需要保留原始列的完整内容，同时添加新拆分列的情况。这种方法提供了更大的灵活性，但需要额外的列选择和排序步骤。

选择哪种方法取决于具体的业务需求和对原始数据列的处理策略。熟练掌握这些技巧，将极大地提高Pandas数据处理的效率和灵活性。

以上就是利用Pandas的str.split高效拆分列并生成多列的详细内容，更多请关注php中文网其它相关文章！