Pandas文本列关键词类别概率计算及最高概率标签提取教程

import pandas as pd
import re
from collections import Counter

# 示例DataFrame
data = {
    'content': [
        'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.',
        'I own RTX 4090...',
        'There is political colfict between us and ca.',
        'au, br mango, lichi apple,.... \n cat, cow, monkey donkey dogs'
    ]
}
df = pd.DataFrame(data)

# 定义关键词类别
labels = {
    'fruits': ['mango', 'apple', 'lichi'],
    'animals': ['dog', 'cat', 'cow', 'monkey'],
    'country': ['us', 'ca', 'au', 'br'],
}

print("原始DataFrame:")
print(df)

def calculate_probability(text, labels_dict):
    """
    计算文本中各关键词类别的概率，并返回最高概率的类别标签。

    参数:
    text (str): 输入的文本内容。
    labels_dict (dict): 关键词类别字典，键为类别名，值为关键词列表。

    返回:
    str: 具有最高概率的类别标签，如果所有概率均为0则返回 'NaN'。
    """
    # 1. 文本分词与小写化
    # 使用正则表达式匹配单词边界，提取所有单词并转换为小写。
    # 这有助于处理标点符号并实现大小写不敏感的匹配。
    words = re.findall(r'\b\w+\b', text.lower())
    word_count = len(words)

    # 如果文本中没有单词，则无法计算概率，直接返回 'NaN'
    if word_count == 0:
        return 'NaN'

    probs = {}
    # 2. 遍历每个关键词类别，进行模糊匹配与计数
    for label_name, keyword_list in labels_dict.items():
        keyword_matches_count = 0
        # 遍历文本中的每个单词
        for text_word in words:
            # 遍历当前类别的每个关键词
            for keyword in keyword_list:
                # 模糊匹配：如果文本中的单词包含（作为子串）任一关键词
                # 例如：'lichies' 包含 'lichi'，'dogs' 包含 'dog'
                if keyword in text_word:
                    keyword_matches_count += 1
                    break # 找到一个匹配后，当前 text_word 不再与其他关键词比较，避免重复计数
        # 3. 概率计算
        probs[label_name] = keyword_matches_count / word_count

    # 4. 找出最高概率的标签
    # 使用 max() 函数和 key 参数，根据字典值（概率）找到对应的键（标签）
    max_label = max(probs, key=probs.get)

    # 5. 处理所有概率均为0的情况
    # 如果最高概率值大于0，则返回该标签；否则，表示没有匹配到任何关键词，返回 'NaN'
    if probs[max_label] > 0:
        return max_label
    else:
        return 'NaN'

# 将函数应用到DataFrame的 'content' 列
# labels=labels 是将我们定义的关键词类别字典作为额外参数传递给函数
df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)

print("\n处理后的DataFrame:")
print(df)

import pandas as pd
import re
from collections import Counter

# 示例DataFrame
data = {
    'content': [
        'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.',
        'I own RTX 4090...',
        'There is political colfict between us and ca.',
        'au, br mango, lichi apple,.... \n cat, cow, monkey donkey dogs'
    ]
}
df = pd.DataFrame(data)

# 定义关键词类别
labels = {
    'fruits': ['mango', 'apple', 'lichi'],
    'animals': ['dog', 'cat', 'cow', 'monkey'],
    'country': ['us', 'ca', 'au', 'br'],
}

def calculate_probability(text, labels_dict):
    """
    计算文本中各关键词类别的概率，并返回最高概率的类别标签。

    参数:
    text (str): 输入的文本内容。
    labels_dict (dict): 关键词类别字典，键为类别名，值为关键词列表。

    返回:
    str: 具有最高概率的类别标签，如果所有概率均为0则返回 'NaN'。
    """
    words = re.findall(r'\b\w+\b', text.lower())
    word_count = len(words)

    if word_count == 0:
        return 'NaN'

    probs = {}
    for label_name, keyword_list in labels_dict.items():
        keyword_matches_count = 0
        for text_word in words:
            for keyword in keyword_list:
                # 模糊匹配：如果文本中的单词包含（作为子串）任一关键词
                if keyword in text_word:
                    keyword_matches_count += 1
                    break 
        probs[label_name] = keyword_matches_count / word_count

    max_label = max(probs, key=probs.get)

    if probs[max_label] > 0:
        return max_label
    else:
        return 'NaN'

# 应用函数
df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)

print("最终结果:")
print(df)

                                             content    label
0  My favorite fruit is mango. I like lichies too...   fruits
1                                  I own RTX 4090...      NaN
2      There is political colfict between us and ca.  country
3  au, br mango, lichi apple,.... \n cat, cow, mo...   animals