优化BERTopic模型：降低-1主题文档比例的实践指南

理解BERTopic中的离群主题（-1）

在使用bertopic进行主题建模时，一个常见现象是部分文档被分配到编号为-1的主题。根据bertopic的官方文档，-1主题专门用于表示模型识别出的“离群点”或“噪声”文档，这些文档可能不符合任何清晰的主题模式，或者其嵌入向量距离现有主题簇较远。在理想情况下，-1主题中的文档数量应尽可能少，因为它代表了模型未能有效归类的部分数据。然而，在某些数据集上，尤其是当文档内容高度多样化或存在大量短文本时，-1主题可能占据相当大的比例，这会影响模型对整体语料库主题结构的理解和表示。例如，在一个包含40,000个短句的数据集中，如果13,573个文档被归入-1主题，则意味着超过四分之一的数据被视为离群点，这显然不利于后续的分析和应用。

核心解决方案：reduce_outliers函数

为了解决-1主题文档过多的问题，BERTopic提供了一个强大的内置函数：reduce_outliers。这个函数旨在将那些被标记为离群点的文档重新分配到已识别的非离群主题中，从而减少-1主题的规模并提高整体主题分布的均衡性。

reduce_outliers函数的工作原理是，它会尝试找到离群文档最近的非离群主题。这意味着即使您传递了所有文档（包括非离群文档），该函数也只会专注于处理被标记为-1的文档，并尝试为它们找到一个更合适的主题。

使用示例

以下是一个使用reduce_outliers函数的典型工作流程：

首先，您需要像往常一样训练您的BERTopic模型，并获取初始的主题分配结果：

Calliper 文档对比神器

文档内容对比神器

28

查看详情

import pandas as pd
from sentence_transformers import SentenceTransformer
from bertopic import BERTopic

# 假设 skills_augmented 是您的文档列表
# skills_augmented = ["document 1", "document 2", ...] 

# 1. 加载预训练的SentenceTransformer模型以生成嵌入
llm_mod = "all-MiniLM-L6-v2"
model = SentenceTransformer(llm_mod)

# 2. 生成文档嵌入
# 注意：在实际应用中，您需要将 skills_augmented 替换为您的实际文档数据
# 为了示例完整性，这里创建一个简单的文档列表
docs = [
    "This is a document about machine learning and AI.",
    "Data science involves statistics and programming.",
    "Deep learning is a subset of machine learning.",
    "Python is a popular language for data analysis.",
    "Natural language processing is a field of AI.",
    "I enjoy hiking in the mountains.", # Outlier candidate
    "The weather is nice today.",      # Outlier candidate
    "Artificial intelligence is transforming industries.",
    "Statistical modeling is key in data science.",
    "Learning new skills is important for career growth." # Outlier candidate
]

embeddings = model.encode(docs, show_progress_bar=True)

# 3. 初始化并训练BERTopic模型
bertopic_model = BERTopic(verbose=True)
topics, probs = bertopic_model.fit_transform(docs, embeddings)

print("原始主题分布：")
print(pd.Series(topics).value_counts())

# 4. 减少离群文档
# 只需要传入原始文档和模型训练后得到的主题列表
new_topics = bertopic_model.reduce_outliers(docs, topics)

print("\n减少离群文档后的主题分布：")
print(pd.Series(new_topics).value_counts())

# 您现在可以使用 new_topics 进行后续分析
# 例如，更新模型内部的主题分配
bertopic_model.update_topics(docs, new_topics=new_topics) 

在上述代码中，reduce_outliers函数仅需要两个参数：原始文档列表docs和BERTopic模型初始分配的主题列表topics。函数执行后，会返回一个新的主题列表new_topics，其中离群文档已被重新分配。

注意事项与进阶策略

1. 迭代优化：reduce_outliers函数可以多次调用，但通常一次调用就能显著改善情况。如果效果不理想，可以考虑调整BERTopic模型的其他参数，如HDBScan的min_cluster_size或min_samples，它们直接影响聚类的粒度和离群点的识别。
2. 理解策略：BERTopic的reduce_outliers函数内部支持多种离群点归约策略（如c-tf-idf、kmeans、umap等）。默认情况下，它会尝试使用最有效的方法。如果您对特定策略有偏好或需要更精细的控制，可以查阅BERTopic官方文档中关于“Outlier reduction strategies”的部分，了解如何通过outlier_reduction_strategy参数进行配置。
3. 效果评估：减少-1主题的文档数量是目标之一，但最终目的是获得高质量、有意义的主题。在减少离群文档后，务必重新评估主题的可解释性、连贯性和多样性。您可以使用BERTopic提供的可视化工具（如visualize_topics、visualize_barchart等）来检查新的主题分布和内容。
4. 数据质量：虽然reduce_outliers可以帮助处理离群点，但高质量的输入数据仍然是主题建模成功的基石。对文档进行适当的预处理（如去除停用词、词形还原、文本清洗等）可以提高嵌入质量，从而间接减少离群点的产生。

总结

BERTopic模型中的-1主题是识别离群文档的重要机制，但当其规模过大时，会掩盖语料库的真实主题结构。通过灵活运用BERTopic提供的reduce_outliers函数，用户可以有效地将这些离群文档重新分配到更具意义的主题中，从而优化主题模型的性能，获得更均衡、更具洞察力的主题分布。结合对其他模型参数的调整和对主题质量的持续评估，可以最大限度地发挥BERTopic在文本分析中的潜力。

以上就是优化BERTopic模型：降低-1主题文档比例的实践指南的详细内容，更多请关注php中文网其它相关文章！