Python中实现自定义Bag-of-Words模型：处理带负向计数的词汇

本文将介绍如何在python中实现一个自定义的bag-of-words（bow）模型，以处理包含特殊前缀（如连字符“-”）的词汇。针对传统bow模型将带前缀词汇视为独立特征的问题，本教程将展示如何通过定制化解析逻辑，将这些词汇计为基础词汇的负向出现次数，从而生成更符合特定业务逻辑的特征向量。

1. 理解传统Bag-of-Words模型的局限性

Bag-of-Words (BOW) 模型是自然语言处理中一种常用的文本表示方法，它将文本视为词汇的无序集合，并统计每个词汇在文档中出现的频率。这种模型简单高效，广泛应用于文本分类、情感分析等任务。然而，在某些特定场景下，我们可能需要对词汇的计数方式进行特殊处理。

例如，在一个包含科学术语或特定编码的文档集中，我们可能会遇到形如 Q207KL41 和 -Q207KL41 的词汇。如果 Q207KL41 表示一个正向概念或出现，而 -Q207KL41 表示其负向或缺失，那么在构建特征时，我们期望的是将 -Q207KL41 计为 Q207KL41 的负一次出现，而不是将其作为一个全新的、独立的特征。

标准的 sklearn.feature_extraction.text.CountVectorizer 在处理这类情况时，会默认将 -Q207KL41 和 Q207KL41 识别为两个不同的词元（token），并在特征向量中为它们分别创建列。例如，如果文档中包含 Q207KL41 -Q207KL41 -Q207KL41，CountVectorizer 可能会为 Q207KL41 计数1，为 -Q207KL41 计数2。这与我们期望的 Q207KL41 总计数为 1 - 1 - 1 = -1 的目标不符。为了实现这种带有“负向计数”的BOW模型，我们需要编写一个自定义的向量化函数。

2. 自定义Bag-of-Words向量化方法的实现

为了解决传统 CountVectorizer 的局限性，我们可以构建一个自定义函数来替代它。这个函数的核心逻辑在于：遍历文档中的每个词元，判断其是否以特定前缀（例如连字符“-”）开头。如果存在，则移除前缀，并将该词元的计数符号设为负；否则，计数符号为正。所有处理后的词元都将映射到同一个词汇表中的对应项，并累加其带符号的计数。

立即学习“Python免费学习笔记（深入）”；

以下是实现该自定义BOW模型的Python代码示例：

MarsX

AI驱动快速构建App，低代码无代码开发，改变软件开发的游戏规则

159

查看详情

import io
import pandas as pd
import numpy as np
from collections import defaultdict

def custom_bow_vectorizer(documents: pd.Series) -> pd.DataFrame:
    """
    自定义Bag-of-Words向量化函数，支持处理带负号前缀的词汇。

    参数:
        documents (pd.Series): 包含待处理文本的Pandas Series。

    返回:
        pd.DataFrame: 包含自定义Bag-of-Words特征的DataFrame。
    """
    processed_features = []
    # 使用defaultdict来动态构建词汇表，并为每个新词汇分配一个唯一的索引
    # vocabulary.default_factory = vocabulary.__len__ 使得每次访问不存在的key时，
    # 自动增加并返回当前词汇表的大小作为新词汇的索引。
    vocabulary = defaultdict()
    vocabulary.default_factory = vocabulary.__len__ 

    for document_text in documents:
        feature_counter = defaultdict(int) # 存储当前文档的词汇计数

        # 处理非字符串类型数据，例如NaN，将其视为空字符串
        if not isinstance(document_text, str):
            document_text = ""

        for token in document_text.split():
            sign = 1
            base_token = token
            # 检查词元是否以负号开头
            if base_token.startswith("-"):
                base_token = base_token[1:] # 移除负号前缀
                sign = -1 # 设置为负向计数

            # 将词元映射到词汇表中的索引，并更新计数
            # 如果base_token是空字符串（例如，原始token只有'-'），则跳过
            if base_token:
                feature_idx = vocabulary[base_token]
                feature_counter[feature_idx] += sign
        processed_features.append(feature_counter)

    # 将所有文档的计数结果转换为DataFrame
    # from_records 会自动处理不同文档具有不同词汇的情况，用NaN填充
    df = pd.DataFrame.from_records(processed_features)
    df = df.fillna(0) # 将NaN填充为0

    # 确保列的顺序是基于词汇表索引的，并映射回词汇字符串作为列名
    # 创建一个反向映射，从索引到词汇
    idx_to_word = {v: k for k, v in vocabulary.items()}
    # 按照词汇表的索引顺序获取词汇，以确保DataFrame列的稳定顺序
    ordered_columns = [idx_to_word[i] for i in sorted(vocabulary.values())]

    # 重排DataFrame的列，使其与词汇表顺序一致
    df = df[ordered_columns]

    # 优化内存使用，如果计数范围不大（-128到127之间），使用int8
    df = df.astype(np.int8) 
    return df

# 示例数据
s = """
RepID,Txt
1,K9G3P9 4H477 -Q207KL41 98464 Q207KL41
2,D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2 
3,-05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84"""
df_reps = pd.read_csv(io.StringIO(s))

# 应用自定义向量化函数
result_df = custom_bow_vectorizer(df_reps["Txt"])
print(result_df)

输出结果：

   K9G3P9  4H477  Q207KL41  98464  D84T8X4  D9W4S2  8E8E65  05L8NJ38  K2DD949  0W28DZ48  207441  K2D28K84
0       1      1         0      1        0       0       0         0        0         0       0         0
1       0      0         0      0        1      -1       1         0        0         0       0         0
2       0      0         0      0        0       0       0        -1        1         1       1         1

从输出可以看出，对于第一行文本 K9G3P9 4H477 -Q207KL41 98464 Q207KL41，词汇 Q207KL41 出现了两次（一次正向，一次负向），最终计数为 1 + (-1) = 0。对于第二行文本 D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2，词汇 D9W4S2 出现一次正向，两次负向，最终计数为 1 + (-1) + (-1) = -1。这完全符合我们的预期。

3. 代码解析与注意事项

3.1 代码解析

1. 导入必要的库:

   • pandas 用于数据处理，特别是将结果组织成DataFrame。
   • numpy 用于数值操作和类型转换，如 np.int8。
   • collections.defaultdict 用于高效地构建词汇计数器和动态词汇表。

2. custom_bow_vectorizer 函数:

   • processed_features 列表：用于存储每个文档的词汇计数结果（以字典形式）。
   • vocabulary = defaultdict(): 创建一个动态词汇表。vocabulary.default_factory = vocabulary.__len__ 这一行是关键。它使得每次访问一个新词汇（即该词汇不在 vocabulary 中）时，defaultdict 会自动为这个新词汇分配一个递增的整数作为其值（索引），并且这个值是当前词汇表的大小。
   • 遍历文档: 对 documents Series 中的每一行文本进行处理。
   • 处理空文档/非字符串数据: if not isinstance(document_text, str): document_text = "" 确保文本是字符串类型，避免 split() 方法在遇到 NaN 或其他非字符串数据时报错。
   • 遍历词元: 使用 document_text.split() 将文本分割成词元。默认按空格分割。
   • 判断负号前缀: 检查 token 是否以 "-" 开头。如果是，则将 sign 设为 -1，并移除 token 的前缀以获取 base_token；否则，sign 保持 1。
   • 更新计数: feature_counter[vocabulary[base_token]] += sign 将 base_token 映射到其在 vocabulary 中的索引，并根据 sign 更新其在当前文档中的计数。
   • 构建DataFrame: pd.DataFrame.from_records(processed_features) 将所有文档的计数字典列表转换为一个DataFrame。由于不同文档可能包含不同的词汇，from_records 会自动处理缺失值，用 NaN 填充。
   • 填充缺失值: df.fillna(0) 将所有 NaN 替换为 0，表示该词汇在该文档中未出现。
   • 列名映射与排序: 为了使输出DataFrame的列名清晰且有序，我们根据 vocabulary 重新构建列的顺序。idx_to_word 字典用于将词汇索引映射回词汇字符串，然后根据索引排序来确保列的顺序一致性。
   • 数据类型优化: df.astype(np.int8) 将DataFrame中的数据类型转换为 int8。如果词汇计数不会超出 [-128, 127] 的范围，这可以显著节省内存，对于大型文本数据集尤其重要。

3.2 注意事项

1. 灵活性与定制性: 这种自定义方法提供了极大的灵活性，可以根据具体需求轻松调整词元化（tokenization）规则、前缀处理逻辑或其他计数策略。例如，可以扩展以处理其他特殊符号、组合词或更复杂的语义规则。

以上就是Python中实现自定义Bag-of-Words模型：处理带负向计数的词汇的详细内容，更多请关注php中文网其它相关文章！