本文探讨了如何在Python中构建一个自定义词袋（Bag of Words, BOW）模型，以处理具有特殊语义的词汇。针对前缀带有连字符的词汇，我们展示了如何将其计为对应词汇的负数出现次数，而非独立词汇。通过手动实现的向量化器，文章详细解析了文本处理逻辑，包括词汇解析、负号识别与权重分配，最终生成一个能够精确反映正负计数的词袋特征矩阵，有效解决了传统BOW模型在特定场景下的局限性。
1. 引言：词袋模型与特殊计数需求
词袋模型（Bag of Words, BOW）是自然语言处理中一种常用的文本表示方法，它将文本视为一个无序的词语集合，忽略语法和词序，只关注词语的出现频率。在Python中，通常使用sklearn.feature_extraction.text.CountVectorizer来快速构建词袋模型。然而，在某些特定应用场景，例如处理科学术语、产品编号或带特定修饰符的标识符时，我们可能会遇到传统BOW模型无法直接满足的计数需求。
考虑一种情况，文档中的某些术语可能带有前缀，例如连字符（-），这表示该术语的“否定”或“缺失”状态。如果一个文档包含 Q207KL41 -Q207KL41 -Q207KL41，我们期望的结果不是将 Q207KL41 和 -Q207KL41 视为两个独立的词汇，而是将它们都归类为 Q207KL41，但带有连字符的应计为负数。在这种情况下，Q207KL41 的最终计数应为 1 - 1 - 1 = -1。传统的CountVectorizer会将-Q207KL41视为一个独立的词汇，或者在预处理不当的情况下，直接移除连字符导致信息丢失，无法实现这种带负值计数的定制化需求。
2. 定制化词袋模型的实现策略
由于标准库中的CountVectorizer无法直接处理这种带有语义的负号前缀并进行加权计数，最有效的解决方案是编写一个自定义的向量化器。核心思路是：
立即学习“Python免费学习笔记（深入）”；
- 遍历文档：逐一处理输入数据集中的每个文档。
- 词汇解析：将每个文档拆分为单独的词汇（token）。
- 负号识别与处理：对于每个词汇，检查其是否以连字符开头。如果发现，则将其视为负向词汇，剥离连字符，并为其分配一个负数权重（-1）；否则，分配正数权重（1）。
- 词汇计数：使用一个字典（或哈希表）来累积每个词汇的计数，将正负权重叠加。
- 构建词汇表：在处理所有文档的过程中，动态构建一个全局词汇表。
- 生成特征矩阵：将每个文档的词汇计数转换为一个行向量，并最终组合成一个DataFrame作为输出的特征矩阵。
3. 详细代码实现
下面是一个使用Python实现上述逻辑的自定义词袋模型函数。
import io
import pandas as pd
import numpy as np
from collections import defaultdict
# 模拟输入数据，实际应用中可从文件读取
s = """
RepID,Txt
1,K9G3P9 4H477 -Q207KL41 98464 Q207KL41
2,D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2
3,-05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84"""
df_reps = pd.read_csv(io.StringIO(s))
def custom_bow_vectorizer(documents):
"""
自定义词袋向量化器，支持处理带负号前缀的词汇。
参数:
documents (pd.Series): 包含文本内容的Pandas Series。
返回:
pd.DataFrame: 词袋特征矩阵，其中包含带正负计数的词汇特征。
"""
# 用于存储每个文档的词汇计数
document_feature_counts = []
# 动态构建词汇表，使用defaultdict的default_factory特性
# 当访问一个新词汇时，default_factory会自动为其分配一个递增的索引
vocabulary = defaultdict()
vocabulary.default_factory = vocabulary.__len__ # 新键的默认值为当前字典长度
for document in documents:
# 为当前文档初始化一个词汇计数器
current_doc_counter = defaultdict(int)
# 将文档按空格拆分成词汇
for token in document.split():
sign = 1 # 默认权重为正1
# 检查词汇是否以连字符开头
if token.startswith("-"):
token = token[1:] # 移除连字符，获取原始词汇
sign = -1 # 设置权重为负1
# 将词汇添加到全局词汇表，并获取其索引
# 如果是新词汇，vocabulary.__len__会为其生成一个新索引
feature_idx = vocabulary[token]
# 累加当前文档中该词汇的计数（带正负权重）
current_doc_counter[feature_idx] += sign
# 将当前文档的词汇计数结果添加到列表中
document_feature_counts.append(current_doc_counter)
# 将所有文档的计数结果转换为DataFrame
# from_records可以处理字典列表，自动填充缺失值
df = pd.DataFrame.from_records(document_feature_counts)
# 填充DataFrame中的NaN值为0（表示该文档中未出现该词汇）
df = df.fillna(0)
# 将列名从索引映射回原始词汇
# 这里需要一个逆向映射，从索引到词汇
# 更好的做法是构建一个从索引到词汇的列表，然后用它设置列名
# 或者直接从vocabulary的keys()中获取，但需要保证顺序一致
# 确保列名顺序与vocabulary中词汇首次出现的顺序一致
# 我们可以通过创建一个反向映射来做到这一点，或者直接使用vocabulary.keys()
# 但vocabulary.keys()的顺序不保证是插入顺序，因此需要更严谨的方式
# 为了保证列名与vocabulary中词汇的对应关系，
# 我们可以先构建一个有序的词汇列表
sorted_vocab_keys = sorted(vocabulary, key=vocabulary.get)
df.columns = sorted_vocab_keys
# 将DataFrame的数据类型转换为int8，节省内存
df = df.astype(np.int8)
return df
# 调用自定义向量化器并打印结果
result_df = custom_bow_vectorizer(df_reps["Txt"])
print(result_df)代码解释：
- defaultdict() for vocabulary: vocabulary = defaultdict() 初始化了一个字典，并设置 vocabulary.default_factory = vocabulary.__len__。这意味着每当访问一个不存在的键（新词汇）时，defaultdict 会调用 vocabulary.__len__ 来生成一个默认值，即当前词汇表的长度。这个长度作为该新词汇的唯一索引。
- current_doc_counter = defaultdict(int): 为每个文档创建一个临时的计数器。defaultdict(int) 确保当访问一个不存在的词汇索引时，其默认值为0，方便直接进行 += sign 操作。
- token.startswith("-"): 检查词汇是否以连字符开头。
- token = token[1:]: 如果是负向词汇，则移除连字符，使其与正向词汇保持一致，例如 -Q207KL41 变为 Q207KL41。
- feature_idx = vocabulary[token]: 获取词汇在全局词汇表中的索引。如果词汇是首次出现，它会被添加到 vocabulary 中并分配一个新的索引。
- current_doc_counter[feature_idx] += sign: 将词汇的权重（sign，即1或-1）累加到当前文档的计数器中。
- pd.DataFrame.from_records(document_feature_counts): 将所有文档的计数字典列表转换为一个Pandas DataFrame。from_records 会自动处理不同文档中词汇集合不完全相同的情况，用 NaN 填充未出现的词汇。
- df.fillna(0): 将DataFrame中所有 NaN 值替换为0，表示该词汇在该文档中未出现。
- df.columns = sorted_vocab_keys: 将 DataFrame 的列名设置为词汇表中按索引排序的词汇，确保列名与实际词汇对应。
- df.astype(np.int8): 将DataFrame的数据类型转换为 np.int8。由于计数通常在较小范围内（-128到127），使用 int8 可以显著节省内存，尤其是在处理大量文档和词汇时。
4. 运行结果
执行上述代码后，将得到以下输出：
K9G3P9 4H477 Q207KL41 98464 D84T8X4 D9W4S2 8E8E65 05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84 0 1 1 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 1 -1 1 0 0 0 0 0 2 0 0 0 0 0 0 0 -1 1 1 1 1
从输出结果可以看出：
- 在第一行（对应 RepID=1 的文档 K9G3P9 4H477 -Q207KL41 98464 Q207KL41），Q207KL41 的计数为 1 + (-1) = 0，符合预期。
- 在第二行（对应 RepID=2 的文档 D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2），D9W4S2 的计数为 1 + (-1) + (-1) = -1，符合预期。
- 在第三行（对应 RepID=3 的文档 -05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84），05L8NJ38 的计数为 -1，符合预期。
5. 注意事项与总结
- 灵活性与定制性：此方法的核心优势在于其高度的灵活性。你可以根据具体需求修改词汇解析逻辑（例如，处理多种前缀、后缀，或者更复杂的模式匹配），以适应各种非标准文本数据。
- 性能考虑：对于海量文本数据，自定义的Python循环可能会比高度优化的C扩展库（如scikit-learn内部实现）慢。然而，对于特定且复杂的文本处理需求，这种牺牲性能换取定制性的做法是值得的。
- 内存优化：使用 np.int8 数据类型有助于在词汇表较大时节省内存。如果计数可能超出 int8 的范围（-128到127），可以考虑使用 np.int16 或 np.int32。
- 词汇表管理：本实现中，词汇表是动态构建的。在生产环境中，如果词汇表非常庞大且需要持久化，可能需要额外的逻辑来保存和加载 vocabulary 字典。
- 预处理：本教程假设词汇之间通过空格分隔。实际应用中，可能需要更复杂的文本预处理步骤，例如大小写转换、标点符号去除、词形还原或词干提取等，这些步骤应在 document.split() 之前完成。
通过这种自定义的向量化方法，我们能够有效地处理带有特殊语义标记的词汇，将它们整合到统一的词袋特征中，并实现精确的正负计数，从而为后续的机器学习任务提供更准确、更富有洞察力的特征表示。
