在数据分析和处理中，我们经常需要对dataframe中的文本列进行清洗和格式化。其中一个常见需求是根据列内容是否包含某个特定关键词来执行不同的操作。例如，如果一个地址字符串中包含“floor”（楼层）信息，我们可能需要提取“floor”之前的部分，并重新格式化；而对于不包含“floor”的地址，则保持原样。本教程将指导您如何使用pandas和自定义函数来实现这种复杂的条件性字符串处理。
问题场景与挑战
假设我们有一个包含地址信息的DataFrame，其中address列的数据如下：
address xxx City yyy road 17 number 8 floor west bank ttt City iii road 1 number ggg City kkk road 25 number 1 floor apple store
我们的目标是：
- 如果地址包含“floor”这个词，就将地址拆分，只保留“floor”之前的部分，并在末尾重新加上“ floor”（注意空格）。
- 如果地址不包含“floor”，则保持原始地址不变。
一个常见的错误尝试是直接使用链式操作，例如df.address.str.split('floor').str[0]+'floor'。这种方法的问题在于，它会无条件地在所有地址末尾添加“floor”，即使原始地址中并没有这个词，从而导致不正确的结果。例如，“ttt City iii road 1 number”会被错误地转换为“ttt City iii road 1 number floor”。为了避免这种情况，我们需要引入条件判断逻辑。
解决方案：使用 apply() 和自定义函数
Pandas的apply()方法与自定义函数结合，是处理这种复杂条件逻辑的强大工具。apply()允许我们对DataFrame的行或列（或Series的每个元素）应用一个函数。
1. 定义处理函数
首先，我们定义一个Python函数，它将接收单个地址字符串作为输入，并根据上述规则返回处理后的字符串。
def process_address(address):
"""
根据地址是否包含'floor'进行条件性处理。
如果包含，则拆分并重构；否则，保持不变。
"""
if 'floor' in address:
# 拆分字符串，取'floor'之前的部分，去除首尾空白，然后重新拼接' floor'
# .strip() 用于清除可能存在的多余空格
return address.split('floor')[0].strip() + ' floor'
else:
# 如果不包含'floor'，则返回原始地址
return address在这个函数中：
- if 'floor' in address:：这是一个简单的Python字符串成员测试，用于检查address中是否包含子字符串'floor'。
- address.split('floor')[0].strip() + ' floor'：
- address.split('floor') 会将字符串在所有'floor'出现的地方进行分割，并返回一个列表。例如，'xxx floor yyy'.split('floor') 返回 ['xxx ', ' yyy']。
- [0] 取列表的第一个元素，即'floor'之前的部分。
- .strip() 用于移除字符串两端的空白字符，这在分割操作后可能很有用，以确保结果干净。
- + ' floor' 重新拼接上“ floor”，注意这里我们添加了一个空格，以确保格式美观。
- else: return address：这是关键部分，它确保了对于不包含'floor'的地址，我们直接返回原始字符串，不做任何修改。
2. 将函数应用于DataFrame列
接下来，我们将这个自定义函数应用到DataFrame的address列上。通常，我们会将处理结果存储在一个新列中，以保留原始数据。
import pandas as pd
# 示例DataFrame
data = {
'address': [
'xxx City yyy road 17 number 8 floor west bank',
'ttt City iii road 1 number',
'ggg City kkk road 25 number 1 floor apple store',
'aaa Street bbb Avenue 10 unit 5'
]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
# 应用自定义函数到'address'列
df['processed_address'] = df['address'].apply(process_address)
print("\n处理后的DataFrame:")
print(df)输出结果：
原始DataFrame:
address
0 xxx City yyy road 17 number 8 floor west bank
1 ttt City iii road 1 number
2 ggg City kkk road 25 number 1 floor apple store
3 aaa Street bbb Avenue 10 unit 5
处理后的DataFrame:
address processed_address
0 xxx City yyy road 17 number 8 floor west bank xxx City yyy road 17 number 8 floor
1 ttt City iii road 1 number ttt City iii road 1 number
2 ggg City kkk road 25 number 1 floor apple store ggg City kkk road 25 number 1 floor
3 aaa Street bbb Avenue 10 unit 5 aaa Street bbb Avenue 10 unit 5从输出可以看出，包含“floor”的地址被正确地拆分和重构，而不包含“floor”的地址则保持了原样，完全符合我们的预期。
注意事项与最佳实践
- 处理空白字符 (.strip())：在字符串分割后，结果字符串可能包含多余的空格。使用.strip()方法可以有效地清除这些首尾空白，确保数据整洁。
- 大小写敏感性：'floor' in address 是大小写敏感的。如果需要进行大小写不敏感的匹配，可以先将字符串转换为小写或大写，例如 if 'floor' in address.lower():。
- 性能考虑：对于非常大的DataFrame（数百万行以上），apply()方法虽然灵活，但在某些情况下可能不如Pandas的向量化字符串方法（如str.contains()、str.split()与np.where结合）高效。然而，对于这种需要复杂条件逻辑和自定义操作的场景，apply()通常是代码可读性和维护性的最佳选择。
- 创建新列：建议将处理结果存储在新列中，而不是直接覆盖原始列。这有助于保留原始数据，方便后续验证或回溯。
- 多个关键词：如果需要处理多个关键词，可以在process_address函数内部扩展条件逻辑（例如，使用elif或更复杂的正则表达式）。
总结
通过结合使用Pandas的apply()方法和自定义函数，我们可以灵活且精确地处理DataFrame中列的字符串数据，实现复杂的条件性逻辑。这种方法不仅解决了特定关键词拆分和重构的问题，也为其他需要行级或元素级自定义处理的场景提供了通用的解决方案。掌握这种技巧，将大大提升您在数据清洗和预处理方面的能力。
