使用 Pandas 为 DataFrame 添加文件名列

from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import pandas as pd
import re

# 指定文本文件所在的目录
corpus_dir = "/Users/MyPath/files"

# 创建一个列表，用于存储所有文本文件的路径
corpus = []

# 使用 pathlib 库获取指定目录下所有 .txt 文件的路径
for file in Path(corpus_dir).rglob("*.txt"):
    corpus.append(file.parent / file.name)

# 对文件路径进行排序
corpus.sort()

# 创建一个列表，用于存储所有文档的内容
all_documents = []
for file_path in corpus:
    with open(file_path) as f:
        file_content = f.read()
        # 使用正则表达式去除文本中的非字母字符
        file_content = re.sub('[^A-Za-z]', ' ', file_content)
    all_documents.append(file_content)

# 创建 CountVectorizer 对象，并指定停用词
count_vect = CountVectorizer(stop_words="english")

# 使用 fit_transform 方法将文档转换为词项矩阵
count_matrix = count_vect.fit_transform(all_documents)

# 将词项矩阵转换为数组
count_array = count_matrix.toarray()

# 创建 DataFrame 对象，并将文件名作为索引
allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names())
print(allDataframe)
allDataframe.to_csv("Matrice_doc_term.csv")

allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=corpus)

allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=[f.name for f in corpus])

allDataframe = pd.DataFrame(data=count_array, columns=count_vect.get_feature_names(), index=[f.stem for f in corpus])