使用 Pandas 向 DataFrame 添加文件名列-Python教程-PHP中文网

使用 Pandas 向 DataFrame 添加文件名列

心靈之曲

发布： 2025-08-13 17:48:02

原创

512人浏览过

使用 pandas 向 dataframe 添加文件名列

本文介绍了如何使用 Pandas 将文件名作为新列或索引添加到 DataFrame 中，特别是在处理从多个文本文件创建的文档-词项矩阵时。通过示例代码，详细展示了如何利用 Path 对象提取文件名，并将其应用于 DataFrame 的创建过程，从而实现更清晰的数据展示和分析。

在数据分析和处理中，经常需要将文件名信息与数据内容关联起来。尤其是在处理大量文本文件时，将文件名添加到 DataFrame 中可以方便地进行数据溯源和分组分析。本文将介绍如何使用 Pandas 实现这一目标，并提供具体代码示例。

方法一：将文件名设置为 DataFrame 的索引

最直接的方法是在创建 DataFrame 时，将文件名列表作为 index 参数传递给 pd.DataFrame() 构造函数。

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re

# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何将文件名设置为索引

# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
     corpus.append(fichier.parent / fichier.name)
corpus.sort()

# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
    with open(fichier_txt) as f:
        fichier_txt_chaine = f.read()
        fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine) 
    all_documents.append(fichier_txt_chaine)

# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()

# 4. 创建DataFrame，并将文件名设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=corpus)
print(allDataframe)

登录后复制

这段代码首先创建了一个包含文件路径的列表 corpus。然后，在创建 DataFrame 时，将 corpus 作为 index 传递给 pd.DataFrame()。这样，DataFrame 的每一行就对应一个文件名，方便后续的数据分析。

方法二：提取文件名并设置为索引

如果 corpus 包含的是 Path 对象，并且只需要文件名（例如 "1905.txt"）作为索引，可以使用列表推导式提取文件名：

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re

# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何提取文件名并设置为索引

# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
     corpus.append(fichier.parent / fichier.name)
corpus.sort()

# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
    with open(fichier_txt) as f:
        fichier_txt_chaine = f.read()
        fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine) 
    all_documents.append(fichier_txt_chaine)

# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()

# 4. 创建DataFrame，并将文件名设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.name for f in corpus])
print(allDataframe)

登录后复制

这段代码使用 [f.name for f in corpus] 从 Path 对象列表中提取文件名，并将提取结果作为 index 传递给 pd.DataFrame()。

易森网络企业版

如果您是新用户，请直接将本程序的所有文件上传在任一文件夹下，Rewrite 目录下放置了伪静态规则和筛选器，可将规则添加进IIS，即可正常使用，不用进行任何设置；(可修改图片等)默认的管理员用户名、密码和验证码都是：yeesen系统默认关闭，请上传后登陆后台点击“核心管理”里操作如下:进入“配置管理”中的&ld

查看详情

方法三：提取文件名（不带扩展名）并设置为索引

如果需要去除文件名中的扩展名（例如 ".txt"），可以使用 Path 对象的 stem 属性：

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re

# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何提取文件名（不带扩展名）并设置为索引

# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
     corpus.append(fichier.parent / fichier.name)
corpus.sort()

# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
    with open(fichier_txt) as f:
        fichier_txt_chaine = f.read()
        fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine) 
    all_documents.append(fichier_txt_chaine)

# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()

# 4. 创建DataFrame，并将文件名（不带扩展名）设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.stem for f in corpus])
print(allDataframe)

登录后复制

这段代码使用 [f.stem for f in corpus] 从 Path 对象列表中提取不带扩展名的文件名，并将提取结果作为 index 传递给 pd.DataFrame()。

方法四：将文件名作为新列添加到 DataFrame

除了将文件名设置为索引，还可以将其作为新列添加到 DataFrame 中。首先创建 DataFrame，然后添加新列：

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re

# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何将文件名作为新列添加到 DataFrame

# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
     corpus.append(fichier.parent / fichier.name)
corpus.sort()

# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
    with open(fichier_txt) as f:
        fichier_txt_chaine = f.read()
        fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine) 
    all_documents.append(fichier_txt_chaine)

# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()

# 4. 创建DataFrame
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names())

# 5. 添加文件名列
allDataframe['filename'] = [f.name for f in corpus]  # 或者 [f.stem for f in corpus]
print(allDataframe)

登录后复制

这段代码首先创建 DataFrame，然后使用 allDataframe['filename'] = ... 添加一个名为 "filename" 的新列，并将文件名列表赋值给该列。

注意事项

确保 corpus 列表中的文件顺序与 count_array 中的数据行顺序一致。
根据实际需求选择合适的文件名提取方式 (f.name 获取完整文件名，f.stem 获取不带扩展名的文件名)。
如果文件名中包含特殊字符，可能需要进行额外的处理，以避免在 DataFrame 中出现问题。

总结

本文介绍了四种使用 Pandas 向 DataFrame 添加文件名的方法，包括将文件名设置为索引、提取文件名并设置为索引、提取不带扩展名的文件名并设置为索引，以及将文件名作为新列添加到 DataFrame。选择哪种方法取决于具体的应用场景和数据处理需求。通过这些方法，可以方便地将文件名信息与数据内容关联起来，从而提高数据分析的效率和准确性。

以上就是使用 Pandas 向 DataFrame 添加文件名列的详细内容，更多请关注php中文网其它相关文章！