使用Python Pandas通过字典实现DataFrame列的模糊分类

理解挑战：为什么直接map行不通？

在数据处理中，我们经常需要根据一个查找表（通常是python字典）来为dataframe的某一列添加新的分类信息。当dataframe列中的值与字典的键完全匹配时，pandas的map函数是一个非常高效且简洁的选择。例如：

import pandas as pd

# 示例数据和字典
data = {'Item': ['apple', 'grape'], 'Cost': [15, 20]}
df_exact = pd.DataFrame(data)
category_dict_exact = {'apple': 'fruit', 'grape': 'fruit'}

# 直接使用map
df_exact['Category'] = df_exact['Item'].map(category_dict_exact)
print("直接map的结果:")
print(df_exact)

然而，实际数据往往更为复杂。当DataFrame的Item列包含的字符串是字典键的“描述性”文本，而非精确键本身时（例如，“apple from happy orchard”而不是“apple”），map函数将无法找到匹配项，通常会返回NaN。这就是我们需要更灵活的匹配策略的原因。

解决方案核心：apply与自定义匹配逻辑

为了解决子字符串匹配的问题，我们可以结合使用DataFrame的apply方法和Python的生成器表达式。apply方法允许我们对DataFrame的每一行或每一列应用一个自定义函数。通过传入一个lambda函数，我们可以为每一项数据编写特定的匹配逻辑。

核心思想是：对于DataFrame Item 列中的每个字符串，遍历分类字典的键值对。如果字典的键作为子字符串存在于当前的Item字符串中，则返回对应的类别值。

逐步实现：代码示例

下面我们将通过一个完整的代码示例来演示如何实现这一功能。

立即学习“Python免费学习笔记（深入）”；

豆包大模型

字节跳动自主研发的一系列大型语言模型

834

查看详情

1. 定义分类字典和原始DataFrame

首先，我们需要定义我们的分类字典和待处理的DataFrame。

import pandas as pd

# 定义分类字典
# 注意：这里将字典命名为 category_dict 以避免与Python内置的dict关键字冲突
category_dict = {
    'apple': 'fruit',
    'grape': 'fruit',
    'chickpea': 'beans',
    'coffee cup': 'tableware'
}

# 定义原始DataFrame
data = {
    'Item': [
        'apple from happy orchard',
        'grape from random vineyard',
        'chickpea and black bean mix',
        'coffee cup with dog decal'
    ],
    'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("\n分类字典:")
print(category_dict)

2. 应用分类逻辑

接下来，我们将使用apply方法和lambda函数来创建新的Category列。

# 应用自定义匹配逻辑来创建 'Category' 列
# 对于df['Item']中的每个元素x，我们遍历category_dict中的所有键值对(key, value)。
# 如果key作为子字符串存在于x中 (key in x)，我们就返回对应的value。
# next()函数会返回第一个匹配到的value。
# 如果没有匹配到任何key，next()的第二个参数None会被返回。
df['Category'] = df['Item'].apply(
    lambda x: next((value for key, value in category_dict.items() if key in x), None)
)

print("\n处理后的DataFrame:")
print(df)

3. 结果输出

运行上述代码，您将得到一个新增了Category列的DataFrame，其中每个Item都根据其包含的子字符串被正确分类。

原始DataFrame:
                          Item  Cost
0     apple from happy orchard    15
1   grape from random vineyard    20
2  chickpea and black bean mix    10
3    coffee cup with dog decal    14

分类字典:
{'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}

处理后的DataFrame:
                          Item  Cost   Category
0     apple from happy orchard    15      fruit
1   grape from random vineyard    20      fruit
2  chickpea and black bean mix    10      beans
3    coffee cup with dog decal    14  tableware

关键点解析

• df['Item'].apply(lambda x: ...): 这表示对df的Item列中的每一个元素x执行lambda函数中定义的逻辑。
• next((value for key, value in category_dict.items() if key in x), None): 这是实现模糊匹配的核心。
  • for key, value in category_dict.items(): 遍历字典中的所有键值对。
  • if key in x: 检查当前字典键key是否是DataFrame元素x的子字符串。
  • (value for ...): 这是一个生成器表达式，它会生成所有匹配到的value。
  • next(..., None): next()函数用于从生成器中获取下一个元素。它会立即返回第一个匹配到的value，从而避免不必要的后续检查。如果生成器为空（即没有找到任何匹配的key），它将返回第二个参数None。

注意事项与优化

1. 匹配顺序的重要性: 如果字典中存在重叠的键（例如，{'apple': 'fruit', 'red apple': 'red_fruit'}），next()函数会返回第一个匹配到的结果。这意味着字典的遍历顺序可能会影响结果。在Python 3.7+中，字典会保留插入顺序。如果对匹配顺序有严格要求，请确保字典键的定义顺序是合理的（例如，更具体的键放在前面）。

2. 处理无匹配项: 当前代码在没有找到匹配项时会返回None。您可以根据需求将其替换为其他默认值，例如'Unknown'或空字符串，只需修改next()函数的第二个参数即可。

   df['Category'] = df['Item'].apply(
       lambda x: next((value for key, value in category_dict.items() if key in x), 'Unknown')
   )

   登录后复制

3. 性能考虑: 对于非常大的DataFrame和/或包含大量键的字典，apply方法结合循环可能会在性能上有所限制，因为它本质上是Python级别的循环。对于性能要求极高的场景，可以考虑以下优化：

   • 向量化字符串方法: 如果您的匹配模式相对简单（例如，固定前缀/后缀），Pandas提供了一些向量化的字符串方法（如str.contains、str.extract），它们通常比apply更快。但对于任意子字符串匹配，apply通常是更灵活的选择。
   • 预编译正则表达式: 如果字典键非常多且复杂，可以考虑使用正则表达式，并预编译它们以提高效率。
   • 并行化: 对于非常大的数据集，可以考虑使用Dask或multiprocessing库进行并行处理。

4. 大小写敏感性: key in x是大小写敏感的。如果需要进行大小写不敏感的匹配，可以将x和key都转换为小写（或大写）再进行比较：if key.lower() in x.lower()。

总结

通过结合使用Pandas的apply方法和Python的生成器表达式，我们可以优雅地解决DataFrame列与字典键之间的子字符串匹配问题，从而为数据添加灵活且准确的分类信息。这种方法不仅适用于本例中的商品分类，也广泛应用于文本分析、日志处理等多种场景，是数据清洗和特征工程中一个非常实用的技巧。理解其工作原理和注意事项，将有助于您更高效地处理复杂的数据分类任务。

以上就是使用Python Pandas通过字典实现DataFrame列的模糊分类的详细内容，更多请关注php中文网其它相关文章！