在数据清洗和预处理过程中，我们经常需要将包含复合信息的单列字符串拆分成多列，以便于后续分析。一个常见的挑战是，拆分点并非简单的固定字符，而是需要结合模式匹配，例如“在最后一个特定分隔符之后，如果跟随的是全大写字母或特定组合，则进行拆分”。本教程旨在解决这类问题，目标是将形如'Juan-Diva - HOLLS'的字符串拆分为'Juan-Diva'和'HOLLS'两部分，其中“HOLLS”必须是全大写。
我们以以下DataFrame为例：
import pandas as pd
df = pd.DataFrame({
'Value': [
'Juan-Diva - HOLLS',
'Carlos - George - ESTE BAN',
'Javier Plain - Hotham Ham - ALPINE',
'Yul - KONJ KOL MON'],
})
print("原始DataFrame:")
print(df)预期输出结果如下：
First Last 0 Juan-Diva HOLLS 1 Carlos - George ESTE BAN 2 Javier Plain - Hotham Ham ALPINE 3 Yul KONJ KOL MON
Pandas提供了强大的矢量化字符串方法，结合正则表达式可以高效地处理这类复杂拆分任务。str.extract()方法尤其适用于从字符串中提取符合特定模式的多个组。
要实现上述拆分，我们需要一个能够精确匹配“任意内容”后跟“ - ”，再后跟“全大写字母、空格或连字符的组合”直到字符串末尾的正则表达式。
使用的正则表达式为：r'^(.*?) - ([A-Z\s-]+)$'
我们来详细解析这个模式：
结合起来，这个正则表达式会从字符串开头非贪婪地捕获第一部分，然后寻找最后一个' - '，接着贪婪地捕获由大写字母、空格或连字符组成的第二部分直到字符串结束。
import pandas as pd
df = pd.DataFrame({
'Value': [
'Juan-Diva - HOLLS',
'Carlos - George - ESTE BAN',
'Javier Plain - Hotham Ham - ALPINE',
'Yul - KONJ KOL MON'],
})
# 正则表达式模式
pattern = r'^(.*?) - ([A-Z\s-]+)$'
# 使用 .str.extract() 提取匹配组到新列
df[['First', 'Last']] = df['Value'].str.extract(pattern)
print("\n使用 .str.extract() 拆分后的DataFrame:")
print(df)输出结果：
Value First Last 0 Juan-Diva - HOLLS Juan-Diva HOLLS 1 Carlos - George - ESTE BAN Carlos - George ESTE BAN 2 Javier Plain - Hotham Ham - ALPINE Javier Plain - Hotham Ham ALPINE 3 Yul - KONJ KOL MON Yul KONJ KOL MON
这种方法利用了Pandas的底层优化，对整个Series进行矢量化操作，因此在处理大量数据时效率极高。
虽然str.extract是首选的矢量化方法，但在某些复杂场景下，或者为了更灵活地处理匹配失败的情况，也可以结合Python的内置re模块和apply()方法。然而，需要注意的是，apply()是行级操作，通常不如矢量化操作高效。
我们可以创建一个辅助函数来封装正则表达式匹配和结果提取的逻辑。
import pandas as pd
import re
df = pd.DataFrame({
'Value': [
'Juan-Diva - HOLLS',
'Carlos - George - ESTE BAN',
'Javier Plain - Hotham Ham - ALPINE',
'Yul - KONJ KOL MON'],
})
# 定义一个函数来处理每个字符串
def split_value(s):
# 正则表达式模式与上面相同
pattern = r'^(.*?) - ([A-Z\s-]+)$'
match = re.search(pattern, s)
if match:
return match.group(1), match.group(2)
else:
# 如果没有匹配，可以返回原始字符串和None，或根据需求返回其他默认值
return s, None
# 将函数应用到 'Value' 列
# .apply() 返回一个Series，其中每个元素是 (First, Last) 元组
# .tolist() 将Series转换为列表，其中每个元素是元组
# 然后直接赋值给新的两列
df[['First', 'Last']] = df['Value'].apply(lambda x: split_value(x)).tolist()
print("\n使用 re 模块和 .apply() 拆分后的DataFrame:")
print(df)输出结果：
Value First Last 0 Juan-Diva - HOLLS Juan-Diva HOLLS 1 Carlos - George - ESTE BAN Carlos - George ESTE BAN 2 Javier Plain - Hotham Ham - ALPINE Javier Plain - Hotham Ham ALPINE 3 Yul - KONJ KOL MON Yul KONJ KOL MON
这种方法虽然功能上等效，但由于apply()是逐行执行Python函数，其性能通常不如Pandas的内置矢量化方法（如str.extract），尤其是在处理大型数据集时。
本教程详细展示了如何在Pandas中根据复杂的模式拆分字符串列。通过利用正则表达式和Pandas的str.extract()矢量化方法，我们可以高效、精确地完成任务。对于大多数场景，推荐使用str.extract()以获得最佳性能。理解正则表达式的构建原理，特别是贪婪与非贪婪匹配，是成功解决此类数据处理挑战的关键。
以上就是Pandas列拆分技巧：按特定分隔符和大小写规则提取数据的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
394
收藏
