在数据处理和分析中，我们经常需要根据现有列的内容，尤其是文本内容，来创建新的分类列。当分类规则可以通过一个字典来定义，且字典的键是目标列中字符串的子集时，传统的map方法可能无法直接满足需求。本文将详细阐述如何利用pandas.dataframe.apply结合python的生成器表达式和next函数，优雅地解决这一问题。
问题场景：基于子字符串的字典映射
假设我们有一个包含商品信息的DataFrame，其中Item列的字符串描述了商品，而我们希望根据一个预定义的字典来为其添加Category（类别）列。这个字典的键是商品的核心词汇，值是对应的类别。例如：
import pandas as pd
# 原始字典
category_dict = {
'apple': 'fruit',
'grape': 'fruit',
'chickpea': 'beans',
'coffee cup': 'tableware'
}
# 原始DataFrame
data = {
'Item': [
'apple from happy orchard',
'grape from random vineyard',
'chickpea and black bean mix',
'coffee cup with dog decal'
],
'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)输出：
原始DataFrame:
Item Cost
0 apple from happy orchard 15
1 grape from random vineyard 20
2 chickpea and black bean mix 10
3 coffee cup with dog decal 14我们的目标是生成如下的DataFrame：
Item Cost Category 0 apple from happy orchard 15 fruit 1 grape from random vineyard 20 fruit 2 chickpea and black bean mix 10 beans 3 coffee cup with dog decal 14 tableware
直接使用df['Item'].map(category_dict)将无法达到预期，因为map期望的是精确匹配，而我们的Item列值是包含字典键的更长字符串。
解决方案：apply结合Lambda和生成器表达式
解决此类问题的核心在于对DataFrame的每一行（或每一列的每个元素）应用一个自定义函数，该函数能够检查字符串中是否存在字典的任何键。pandas.Series.apply方法正是为此而生。
以下是实现这一目标的Python代码：
import pandas as pd
# 原始字典
category_dict = {
'apple': 'fruit',
'grape': 'fruit',
'chickpea': 'beans',
'coffee cup': 'tableware'
}
# 原始DataFrame
data = {
'Item': [
'apple from happy orchard',
'grape from random vineyard',
'chickpea and black bean mix',
'coffee cup with dog decal'
],
'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)
# 使用apply方法添加Category列
df['Category'] = df['Item'].apply(
lambda item_str: next(
(value for key, value in category_dict.items() if key in item_str),
None
)
)
print("\n添加Category列后的DataFrame:")
print(df)代码解析
让我们深入理解这行关键代码： df['Category'] = df['Item'].apply(lambda item_str: next((value for key, value in category_dict.items() if key in item_str), None))
df['Item'].apply(...): 这表示我们将对DataFrame的Item列中的每一个元素应用一个函数。apply方法会遍历Item列的每一个字符串，并将该字符串作为参数传递给后面的lambda函数。
lambda item_str:: 这是一个匿名函数，item_str代表Item列中的当前字符串（例如'apple from happy orchard'）。
-
next((value for key, value in category_dict.items() if key in item_str), None): 这是实现子字符串匹配和值提取的核心。
- (value for key, value in category_dict.items() if key in item_str): 这是一个生成器表达式。它遍历category_dict中的所有键值对。对于每个键key和值value，它会检查key是否作为子字符串存在于当前的item_str中。如果存在，它就生成对应的value。
-
next(generator, default_value): next()函数用于从生成器中获取下一个元素。
- 如果生成器能够产生一个值（即找到了一个匹配的字典键），next()会立即返回这个值。
- 如果生成器遍历完所有键都没有找到匹配项，next()会返回我们指定的default_value，在这里是None。这意味着如果Item列的某个字符串没有匹配到任何字典键，它的Category将是None。
注意事项与扩展
匹配顺序: next()函数在找到第一个匹配的键后就会停止。如果一个item_str可以匹配到多个字典键（例如，'apple pie'既能匹配'apple'也能匹配'pie'），那么category_dict中键的迭代顺序将决定哪个类别被选中。Python字典在3.7+版本中保持插入顺序，因此通常是按字典定义时的顺序来匹配。如果需要更复杂的匹配优先级，可能需要对category_dict.items()进行预排序或调整匹配逻辑。
-
无匹配项处理: 当前代码在没有匹配时会返回None。如果希望返回一个默认字符串（如'Other'），可以将None替换为 'Other'。
df['Category'] = df['Item'].apply( lambda item_str: next( (value for key, value in category_dict.items() if key in item_str), 'Unknown' # 将None替换为'Unknown' ) ) 性能考量: 对于非常大的DataFrame和字典，apply方法虽然灵活，但可能不如完全矢量化的操作高效。然而，对于涉及子字符串匹配的复杂逻辑，apply通常是必需的，并且在大多数实际场景中性能足够。如果性能成为瓶颈，可以考虑使用更高级的文本匹配库（如fuzzywuzzy进行模糊匹配）或预处理文本。
-
大小写不敏感匹配: 如果需要进行大小写不敏感的匹配，可以在检查条件时将key和item_str都转换为小写：
df['Category'] = df['Item'].apply( lambda item_str: next( (value for key, value in category_dict.items() if key.lower() in item_str.lower()), None ) )
总结
通过结合pandas.Series.apply、lambda表达式和Python的生成器表达式与next函数，我们可以高效且灵活地为DataFrame添加基于字典子字符串匹配的分类列。这种方法不仅解决了传统map函数的局限性，还提供了处理无匹配项和控制匹配逻辑的强大能力，是处理复杂文本分类任务的实用工具。
