文本分类中不平衡数据的应对策略

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from collections import Counter

# 假设您的数据已加载到DataFrame中
# 示例数据（请替换为您的实际数据）
data = {
    'text': ["这是关于主题A的推文"] * 183 + ["这是关于主题B的推文"] * 171 +
            ["这是关于主题C的推文"] * 120 + ["这是关于主题D的推文"] * 110 +
            ["这是关于主题E的推文"] * 98 + ["这是无主题的推文"] * 964,
    'label': ['主题A'] * 183 + ['主题B'] * 171 +
             ['主题C'] * 120 + ['主题D'] * 110 +
             ['主题E'] * 98 + ['无主题'] * 964
}
df = pd.DataFrame(data)
X, y = df['text'], df['label']

# 文本特征提取 (TF-IDF)
vectorizer = TfidfVectorizer(max_features=2000) # 限制特征数量以避免维度灾难
X_vec = vectorizer.fit_transform(X)

# 划分训练集和测试集，使用stratify参数保持类别比例
X_train, X_test, y_train, y_test = train_test_split(X_vec, y, test_size=0.2, random_state=42, stratify=y)

print("训练集类别分布:", Counter(y_train))

# 1. 使用class_weight='balanced'的逻辑回归
print("\n--- 使用 class_weight='balanced' 的逻辑回归 ---")
lr_balanced = LogisticRegression(class_weight='balanced', solver='liblinear', max_iter=1000, random_state=42)
lr_balanced.fit(X_train, y_train)
print("逻辑回归 (class_weight='balanced') 训练完成。")

# 2. 使用自定义权重的SVM
print("\n--- 使用自定义权重的SVM ---")
# 可以根据类别频率的反比来设定自定义权重
class_counts = Counter(y_train)
total_samples = sum(class_counts.values())
# 简单的反比权重示例：权重 = 总样本数 / (类别数 * 该类别样本数)
# 这样可以确保稀有类别的权重更高
custom_weights = {cls: total_samples / (len(class_counts) * count) for cls, count in class_counts.items()}
print(f"自定义权重: {custom_weights}")

svm_custom = SVC(class_weight=custom_weights, random_state=42)
svm_custom.fit(X_train, y_train)
print("SVM (自定义权重) 训练完成。")

from sklearn.metrics import classification_report, roc_auc_score, confusion_matrix
import numpy as np

# 假设lr_balanced和svm_custom是前面训练好的模型
# 对逻辑回归模型进行评估
print("\n--- 逻辑回归模型评估报告 (class_weight='balanced') ---")
y_pred_lr = lr_balanced.predict(X_test)
print(classification_report(y_test, y_pred_lr, target_names=lr_balanced.classes_, zero_division=0))

print("\n混淆矩阵 (逻辑回归):")
print(confusion_matrix(y_test, y_pred_lr, labels=lr_balanced.classes_))

# 对于多分类AUC，通常需要使用One-vs-Rest策略
# 需要模型能够输出预测概率
try:
    y_prob_lr = lr_balanced.predict_proba(X_test)
    # 将类别标签映射为数字，以便roc_auc_score处理
    label_map = {label: i for i, label in enumerate(lr_balanced.classes_)}
    y_test_mapped = np.array([label_map[label] for label in y_test])

    if y_prob_lr.shape[1] == len(lr_balanced.classes_):
        # average='weighted' 考虑了每个类别的样本比例
        roc_auc_weighted = roc_auc_score(y_test_mapped, y_prob_lr, multi_class='ovr', average='weighted')
        print(f"ROC AUC (weighted): {roc_auc_weighted:.4f}")
    else:
        print("无法计算多分类ROC AUC，因为预测概率的列数与类别数不匹配。")
except AttributeError:
    print("逻辑回归模型不支持predict_proba，无法计算AUC。")


# 对SVM模型进行评估 (假设svm_custom已训练)
print("\n--- SVM模型评估报告 (自定义权重) ---")
y_pred_svm = svm_custom.predict(X_test)
print(classification_report(y_test, y_pred_svm, target_names=svm_custom.classes_, zero_division=0))

print("\n混淆矩阵 (SVM):")
print(confusion_matrix(y_test, y_pred_svm, labels=svm_custom.classes_))