Python中处理带负号词汇的自定义词袋模型实现

import io
import pandas as pd
import numpy as np
from collections import defaultdict

def custom_bow_vectorizer(documents: pd.Series) -> pd.DataFrame:
    """
    自定义词袋模型向量化函数，支持处理带有负号前缀的词汇。
    例如，"-term" 将被计为 "term" 的负数出现。

    Args:
        documents (pd.Series): 包含待处理文本的 Pandas Series。

    Returns:
        pd.DataFrame: 向量化后的词袋模型 DataFrame，其中包含词汇的计数（可能为负）。
    """
    processed_features = []
    # 使用 defaultdict 动态构建词汇表：key为词汇，value为递增的索引
    vocabulary = defaultdict(lambda: len(vocabulary))

    for document in documents:
        # 为当前文档初始化一个词汇计数器
        feature_counter = defaultdict(int)

        # 处理非字符串类型数据，如NaN，将其视为空字符串
        if not isinstance(document, str):
            document = ""

        for token in document.split():
            sign = 1
            # 检查词汇是否以负号开头，并确保不是只有一个"-"的token
            if token.startswith("-") and len(token) > 1:
                token = token[1:] # 移除负号
                sign = -1

            # 将处理后的词汇添加到词汇表（如果尚未存在），并获取其索引
            feature_idx = vocabulary[token] 
            # 更新当前文档中该词汇的计数
            feature_counter[feature_idx] += sign
        processed_features.append(feature_counter)

    # 从字典列表创建DataFrame，并用0填充NaN值
    df_features = pd.DataFrame.from_records(processed_features)
    df_features = df_features.fillna(0)

    # 重新映射列名，将内部索引替换为实际的词汇
    # 首先创建一个从索引到词汇的映射
    idx_to_word = {v: k for k, v in vocabulary.items()}
    # 确保列的顺序与词汇表构建的顺序一致，并重命名列
    # 注意：DataFrame.from_records 可能会按键的哈希值顺序创建列，
    # 为了保证一致性，我们通常会根据原始词汇表的顺序来重新排列和命名列
    # 这里我们假设 df_features.columns 已经是词汇索引，所以直接排序后映射
    sorted_cols_by_idx = sorted(df_features.columns)
    df_features = df_features[sorted_cols_by_idx].rename(columns=idx_to_word)

    # 优化：将数据类型转换为 np.int8，适用于计数范围较小的情况
    df_features = df_features.astype(np.int8)

    return df_features

# 示例数据
s = """RepID,Txt
1,K9G3P9 4H477 -Q207KL41 98464 Q207KL41
2,D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2 
3,-05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84
4,TERM1 -TERM1 TERM2 -TERM2 -TERM2""" # 增加一个更清晰的示例
df_reps = pd.read_csv(io.StringIO(s))

print("原始数据:")
print(df_reps)
print("\n处理后的词袋模型:")
result_df = custom_bow_vectorizer(df_reps["Txt"])
print(result_df)

原始数据:
   RepID                                Txt
0      1  K9G3P9 4H477 -Q207KL41 98464 Q207KL41
1      2   D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2 
2      3  -05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84
3      4       TERM1 -TERM1 TERM2 -TERM2 -TERM2

处理后的词袋模型:
   K9G3P9  4H477  Q207KL41  98464  D84T8X4  D9W4S2  8E8E65  05L8NJ38  K2DD949  0W28DZ48  207441  K2D28K84  TERM1  TERM2
0       1      1         0      1        0       0       0         0        0         0       0         0      0      0
1       0      0         0      0        1      -1       1         0        0         0       0         0      0      0
2       0      0         0      0        0       0       0        -1        1         1       1         1      0      0
3       0      0         0      0        0       0       0         0        0         0       0         0      0     -1