在日常数据分析工作中，我们经常会遇到格式不规范的csv文件。这些文件可能在实际数据之前包含报告标题、生成日期、免责声明等冗余文本，甚至在数据之后也有类似信息。直接使用pandas.read_csv函数读取这类文件通常会导致解析错误或生成包含大量nan值的dataframe，影响后续的数据处理。本教程将介绍两种基于python和pandas的解决方案，帮助您精确地提取所需数据。
设想您需要处理上万个CSV文件，每个文件都像以下示例一样：
SAMPLE FILE LTD STUDENT NUMBERS INFO OF ALL STUDENTS No : from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00 Student,id,add,div,rank ABC,12,USA,A,1 DEF,13,IND,C,2 XYZ,14,UK,E,3 PQR,15,DE,F,4 This is System generated report, and needs no signature. 14-Oct-2023 18:14:12
其中，Student,id,add,div,rank是真正的列标题，其上方和下方的内容都是无关的。我们的目标是只获取包含学生信息的表格数据。
这种方法首先将整个文件内容作为字符串读取，然后利用Pandas的字符串处理能力进行解析。它适用于文件结构相对复杂，或数据起始行不固定但可以通过特定模式识别的情况。
核心思路：
示例代码：
import pandas as pd
import io
# 模拟一个CSV文件内容
csv_content = """SAMPLE FILE LTD
STUDENT NUMBERS
INFO OF ALL STUDENTS No : from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00
Student,id,add,div,rank
ABC,12,USA,A,1
DEF,13,IND,C,2
XYZ,14,UK,E,3
PQR,15,DE,F,4
This is System generated report, and needs no signature.
14-Oct-2023 18:14:12
"""
# 将字符串内容视为文件对象
file_like_object = io.StringIO(csv_content)
# 1. 将整个文件内容读取为DataFrame的单列
# 每一行作为DataFrame的一个元素
df_raw = pd.DataFrame(file_like_object.read().split('\n'))
# 2. 将单列数据按逗号分隔，并展开成多列
# .dropna() 用于删除那些不包含足够逗号分隔值的行（即非数据行）
df_processed = df_raw[0].str.split(',', expand=True).dropna()
# 3. 将第一行（即真实的列头）设置为DataFrame的列名
# 同时，将数据部分（从第二行开始）重新赋值给DataFrame，并重置索引
header = df_processed.iloc[0].values
df_final = df_processed.iloc[1:].reset_index(drop=True)
df_final.columns = header
print("解决方案一的结果:")
print(df_final)输出：
解决方案一的结果: Student id add div rank 0 ABC 12 USA A 1 1 DEF 13 IND C 2 2 XYZ 14 UK E 3 3 PQR 15 DE F 4
注意事项：
这种方法通过逐行读取文件，直到找到包含列标题的特定行，然后将文件的其余部分直接传递给pandas.read_csv。这种方式更直接，尤其适用于数据起始行可以通过特定字符串模式（如列标题）精确识别的情况。
核心思路：
示例代码：
import pandas as pd
import io
# 模拟一个CSV文件内容
csv_content = """SAMPLE FILE LTD
STUDENT NUMBERS
INFO OF ALL STUDENTS No : from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00
Student,id,add,div,rank
ABC,12,USA,A,1
DEF,13,IND,C,2
XYZ,14,UK,E,3
PQR,15,DE,F,4
This is System generated report, and needs no signature.
14-Oct-2023 18:14:12
"""
# 将字符串内容视为文件对象
file_like_object = io.StringIO(csv_content)
# 1. 以读模式打开文件（或使用io.StringIO模拟文件）
with file_like_object as file:
line = file.readline()
# 2. 循环读取行，直到找到包含“Student”的行（即列头）
while not line.startswith('Student'):
line = file.readline()
# 处理文件末尾，如果没找到标题就退出循环
if not line:
raise ValueError("未找到预期的列标题行！")
# 3. 解析列头
# .strip() 移除行尾的换行符，.split(',') 分割成列表
column_names = line.strip().split(',')
# 4. 使用pandas.read_csv读取文件的剩余部分
# `names`参数指定列名，`header=None`表示文件本身没有列头行
df_final = pd.read_csv(file, names=column_names, header=None)
# 5. 移除数据末尾可能存在的冗余行（通过检查是否有NaN值）
# 这里假设所有数据列都不应为NaN
df_final = df_final.dropna(how='all') # 移除所有列都是NaN的行
print("\n解决方案二的结果:")
print(df_final)输出：
解决方案二的结果: Student id add div rank 0 ABC 12 USA A 1 1 DEF 13 IND C 2 2 XYZ 14 UK E 3 3 PQR 15 DE F 4
注意事项：
处理包含冗余文本的CSV文件是数据清洗中的常见任务。本文介绍了两种高效且灵活的Pandas解决方案：
选择哪种方法取决于您CSV文件的具体结构和冗余文本的模式。在处理大量文件时，将这些逻辑封装成函数可以大大提高工作效率和代码复用性。务必根据实际情况调整代码中的判断条件（如startswith('Student')），以确保准确地识别数据区域。通过这些技术，您可以有效地将原始、不规范的CSV文件转化为干净、结构化的Pandas DataFrame，为后续的数据分析奠定坚实基础。
以上就是使用Pandas清洗并读取含冗余文本的CSV文件的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
214
收藏
