清理并高效读取含冗余文本的CSV文件：Pandas实战指南

SAMPLE FILE LTD

STUDENT NUMBERS

INFO OF ALL STUDENTS No :  from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and  from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00

Student,id,add,div,rank
ABC,12,USA,A,1
DEF,13,IND,C,2
XYZ,14,UK,E,3
PQR,15,DE,F,4


 This is System generated report, and needs no signature.

 14-Oct-2023 18:14:12

import pandas as pd

file_name = 'students.csv'

# 1. 读取整个文件内容到DataFrame的单列中
with open(file_name, 'r') as file:
    df = pd.DataFrame(file.read().split('\n'))

# 2. 将单列按逗号分隔，并扩展为多列，然后删除所有包含NaN的行
# 这一步会清理掉页眉和页脚中的非数据行
df = df[0].str.split(',', expand=True).dropna()

# 3. 将第一行（即原文件中的列头行）设置为新的列名
# 同时，将实际数据从第二行开始，并重置索引
df, df.columns = df.iloc[1:].reset_index(drop=True), df.iloc[0].values

print(df)

  Student  id  add div rank
0     ABC  12  USA   A    1
1     DEF  13  IND   C    2
2     XYZ  14   UK   E    3
3     PQR  15   DE   F    4

import pandas as pd

file_name = 'students.csv'

# 1. 打开文件并逐行读取，直到找到数据头
with open(file_name, 'r') as file:
    line = file.readline()
    while not line.startswith('Student'): # 假设数据头总是以'Student'开头
        line = file.readline()

    # 2. 找到数据头后，解析列名
    column_names = line.strip().split(',')

    # 3. 使用pd.read_csv从当前文件指针位置开始读取，并指定列名
    # 文件对象会从上一次readline()结束的位置继续读取
    df = pd.read_csv(file, names=column_names)

# 4. 删除所有包含NaN的行，以清理可能存在的页脚
df = df.dropna()

print(df)

  Student  id  add div  rank
0     ABC  12  USA   A   1.0
1     DEF  13  IND   C   2.0
2     XYZ  14   UK   E   3.0
3     PQR  15   DE   F   4.0

def read_messy_csv(file_path, header_start_string=None, column_names=None):
    """
    读取包含冗余页眉和页脚的CSV文件。

    参数:
        file_path (str): CSV文件路径。
        header_start_string (str, optional): 数据头行开始的字符串。如果提供，将使用方法二。
                                              例如: 'Student'。
        column_names (list, optional): 如果已知列名，可以提前提供。
                                       如果使用方法一，则不需要。
                                       如果使用方法二且header_start_string未提供，则此参数用于定位。

    返回:
        pd.DataFrame: 清理后的数据DataFrame。
    """
    if header_start_string:
        # 方法二：预解析文件流
        with open(file_path, 'r') as file:
            line = file.readline()
            while not line.startswith(header_start_string):
                line = file.readline()
                if not line: # 防止文件末尾没有找到匹配项
                    raise ValueError(f"在文件 {file_path} 中未找到以 '{header_start_string}' 开头的数据头。")

            # 如果未提供column_names，则从找到的行中解析
            if column_names is None:
                parsed_column_names = line.strip().split(',')
            else:
                parsed_column_names = column_names

            df = pd.read_csv(file, names=parsed_column_names)
        return df.dropna().reset_index(drop=True)
    else:
        # 方法一：整体读取与后处理 (适用于header_start_string不固定或未知的情况)
        with open(file_path, 'r') as file:
            df = pd.DataFrame(file.read().split('\n'))

        df = df[0].str.split(',', expand=True).dropna()

        # 尝试从数据中识别列名，或者使用提供的column_names
        if column_names is None:
            # 假设第一行非空且包含多个逗号分隔的元素是列名
            if not df.empty and len(df.iloc[0].dropna()) > 1:
                df, df.columns = df.iloc[1:].reset_index(drop=True), df.iloc[0].values
            else:
                raise ValueError("无法自动识别列名，请提供 'column_names' 或 'header_start_string'。")
        else:
            # 强制设置列名，并尝试匹配数据
            # 这种情况下，可能需要更复杂的逻辑来对齐数据
            # 简单处理：假设第一行是列名，然后进行替换
            if not df.empty and len(df.iloc[0]) == len(column_names):
                 df, df.columns = df.iloc[1:].reset_index(drop=True), column_names
            else:
                # 否则，假设没有找到明确的列头行，直接使用提供的列名，并尝试清理
                df.columns = column_names # 这可能导致列数不匹配或数据错位
                df = df.dropna().reset_index(drop=True)

        return df

# 示例使用
# # 创建一个示例文件
# with open('students.csv', 'w') as f:
#     f.write("""SAMPLE FILE LTD
# STUDENT NUMBERS
# INFO OF ALL STUDENTS No :  from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and  from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00
# Student,id,add,div,rank
# ABC,12,USA,A,1
# DEF,13,IND,C,2
# XYZ,14,UK,E,3
# PQR,15,DE,F,4


#  This is System generated report, and needs no signature.

#  14-Oct-2023 18:14:12""")

# # 使用方法二
# df_cleaned_method2 = read_messy_csv('students.csv', header_start_string='Student')
# print("\n--- 方法二清理结果 ---")
# print(df_cleaned_method2)

# # 使用方法一（假设不知道确切的header_start_string，但知道列名）
# # df_cleaned_method1 = read_messy_csv('students.csv', column_names=['Student', 'id', 'add', 'div', 'rank'])
# # print("\n--- 方法一清理结果 ---")
# # print(df_cleaned_method1)