Pandas中结合loc与str.extract进行条件性多列赋值的技巧与陷阱

在数据分析和处理中，我们经常需要从字符串列中提取特定模式的数据，并将其分配到dataframe的现有或新列中。当这种赋值操作需要基于特定条件进行时，例如只对包含特定字符的行进行操作，pandas.dataframe.loc和pandas.series.str.extract是强大的工具组合。然而，不恰当的使用方式可能导致意外结果，如目标列被填充为nan。

理解问题根源

考虑一个场景，我们有一个包含音乐和弦信息的Cypher列，其中一些和弦包含斜杠/，斜杠前是和弦名称，斜杠后是低音。我们的目标是提取这些信息，并更新Cypher列（只保留斜杠前部分）以及新增一个Bass列。

当尝试使用以下方式进行条件性赋值时：

import pandas as pd
import numpy as np

# 示例数据
data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
                   '7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
                   'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)

# 尝试直接赋值，可能导致NaN
# df.loc[df.Cypher.str.contains('/'), ['Cypher', 'Bass']] = df.Cypher.str.extract('(.*)/(.*)')
# print(df) # 此时Cypher和Bass列可能会被NaN填充

这种直接赋值之所以可能失败（导致NaN），是因为df.Cypher.str.extract('(.*)/(.*)')会返回一个完整的DataFrame，其索引与原始df的索引一致。当将其赋值给df.loc[df.Cypher.str.contains('/'), ['Cypher', 'Bass']]时，Pandas会尝试根据索引进行对齐。如果提取结果的DataFrame中，那些不满足str.contains('/')条件的行的索引位置对应的值是NaN（因为extract在不匹配时返回NaN），那么在赋值时，这些NaN可能会覆盖掉目标位置的有效数据，或者因为索引不对齐导致赋值失败。更准确地说，当右侧是一个DataFrame时，Pandas的赋值机制会尝试将右侧DataFrame的列名与左侧的列名匹配，并按索引对齐。如果右侧的DataFrame没有明确的列名（str.extract默认返回数字列名0, 1），或者索引不完全匹配，就会出现问题。

下面我们将介绍几种健壮的解决方案。

解决方案一：使用命名组进行提取

通过在正则表达式中使用命名组(?P<name>...)，我们可以确保str.extract返回的DataFrame具有与目标列名一致的列名。这样，Pandas在进行loc赋值时就能正确地将提取的数据分配到对应的列。

import pandas as pd
import numpy as np

data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
                   '7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
                   'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)

# 使用命名组
df.loc[df['Cypher'].str.contains('/'),
       ['Cypher', 'Bass']] = df['Cypher'].str.extract('(?P<Cypher>.*)/(?P<Bass>.*)')

print("解决方案一结果:")
print(df)

解释： (?P<Cypher>.*) 将匹配斜杠前的所有内容并将其命名为Cypher，(?P<Bass>.*) 则匹配斜杠后的内容并命名为Bass。str.extract将返回一个包含Cypher和Bass列的DataFrame，其列名与我们loc目标列名完全匹配，从而实现精确赋值。

解决方案二：预过滤数据并转换为NumPy数组

另一种方法是首先过滤出需要处理的行，然后对这些行执行str.extract操作，并将结果转换为NumPy数组进行赋值。转换为NumPy数组可以避免Pandas在赋值时进行复杂的索引和列名对齐，直接按位置进行数据填充。

巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

61

查看详情

import pandas as pd
import numpy as np

data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
                   '7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
                   'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)

# 预过滤数据并转换为NumPy数组
m = df['Cypher'].str.contains('/')
df.loc[m, ['Cypher', 'Bass']] = df.loc[m, 'Cypher'].str.extract('(.*)/(.*)').to_numpy()

print("\n解决方案二结果:")
print(df)

解释：

1. m = df['Cypher'].str.contains('/') 创建一个布尔掩码，用于选择包含斜杠的行。
2. df.loc[m, 'Cypher'].str.extract('(.*)/(.*)') 仅对满足条件的Cypher列进行提取操作，返回的DataFrame只包含这些行的提取结果。
3. .to_numpy() 将提取结果转换为NumPy数组。由于loc[m, ...]的左侧和右侧的NumPy数组形状和行数都是匹配的，因此可以直接进行赋值，避免了Pandas索引对齐的复杂性。

解决方案三：使用更通用的正则表达式进行提取

如果我们希望一次性处理所有行，无论它们是否包含斜杠，并且将不含斜杠的行的Bass列设置为NaN，可以使用一个更通用的正则表达式。这种方法不需要loc进行条件判断，因为str.extract本身就能处理不匹配的情况。

import pandas as pd
import numpy as np

data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
                   '7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
                   'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)

# 使用更通用的正则表达式
df[['Cypher', 'Bass']] = df['Cypher'].str.extract('([^/]*)(?:/(.*))?')

print("\n解决方案三结果:")
print(df)

解释：

1. ([^/]*) 匹配零个或多个非斜杠字符，并捕获为第一个组（对应Cypher）。
2. (?:/(.*))? 是一个非捕获组 (?:...)，它整体是可选的 ?。这意味着如果存在斜杠，它会匹配斜杠/，然后捕获斜杠后的所有内容 (.*) 作为第二个组（对应Bass）。如果不存在斜杠，则整个可选组不匹配，Bass列将为NaN。 这种方法简洁高效，适用于需要对所有行进行统一处理的场景。

解决方案四：使用str.split进行高效分割

对于简单的基于分隔符的字符串分割任务，str.split通常比str.extract更直观和高效。通过设置expand=True，可以直接将分割结果扩展为新的DataFrame列。

import pandas as pd
import numpy as np

data = {'Cypher': ['', '2', '43', '64', '65', 'j9', 'j43', 'j65', 'j2', '/I', '7',
                   '7/-', 'd6', 'ø7', 'ø2', 'd43', 'd64', 'd7', 'd7/I', 'ø65',
                   'ø7/I', '6', 'j7', 'd7/-', 'ø7/-', 'd7/VI']}
df = pd.DataFrame(data)

# 使用str.split
df[['Cypher', 'Bass']] = df['Cypher'].str.split('/', expand=True)

print("\n解决方案四结果:")
print(df)

解释：

1. df['Cypher'].str.split('/', expand=True) 会将Cypher列的每个字符串按/进行分割。
2. expand=True 确保分割结果直接扩展为新的DataFrame，其列名为0和1。
3. 这些新列随后被赋值给df[['Cypher', 'Bass']]。如果字符串不包含斜杠，则Bass列将为NaN，这与我们的预期一致。

注意事项

• 索引对齐机制： Pandas在进行赋值操作时，尤其是当右侧是一个DataFrame时，会尝试根据索引和列名进行对齐。理解这一机制是避免意外结果的关键。当左右两侧的索引或列名不完全匹配时，可能会导致数据错位或填充NaN。
• str.extract的返回值： str.extract总是返回一个DataFrame。如果正则表达式中没有捕获组，它将返回一个只包含一列的DataFrame。如果有多个捕获组，则返回多列。不匹配的行将填充NaN。
• 命名组的优势： 在进行多列赋值时，使用命名组可以使代码更具可读性，并确保str.extract的输出列名与目标列名一致，减少潜在的对齐问题。
• to_numpy() 的作用： 将DataFrame转换为NumPy数组可以绕过Pandas的索引和列名对齐机制，直接进行位置赋值。这在确定左右两侧形状完全匹配时非常有效。
• 选择合适的方法： 对于简单的分隔符分割，str.split通常是最佳选择，因为它更简洁且性能可能更好。对于复杂的模式匹配，str.extract提供了强大的正则表达式能力。

总结

在Pandas中进行条件性多列赋值是一个常见的操作，但需要对Pandas的内部机制有清晰的理解。本文提供了四种有效策略来解决loc与str.extract结合使用时的赋值问题：通过命名组确保列名匹配、通过预过滤和转换为NumPy数组强制位置赋值、通过优化正则表达式一次性处理所有情况，以及利用str.split进行高效分割。根据具体的业务需求和数据特性，选择最合适的方法可以显著提高代码的健壮性和效率。在实际操作中，建议始终进行小规模测试，以验证赋值行为是否符合预期。

以上就是Pandas中结合loc与str.extract进行条件性多列赋值的技巧与陷阱的详细内容，更多请关注php中文网其它相关文章！