Python教程：利用正则表达式处理复杂文本文件并高效转换为CSV

HP TRA ID        CL ID              IN/EId      No    Loop  Element Name                    Freq  STATUS         Error Severity  Error ID         Message                                                                                                                                                                                                                                                                                                       Report Source

13ZI       20712800032                                                             1     Denied         Error           HP_DOSOlderTh  Date of service is older than 12 months                                                                                                                                                                                                                                                                       HP           
13ZI       20712800032                 1                                           1     Rejected      Error           CA16            Rejected at  level. DupKeyID:0 is a Rejected of DupKeyID:0 from EncounterID:15C7XE9GV00 Claim ID:P_20712800032ALPHA_1649845496_19961109508100_716.                                                                                                                        HP           

import re
import pandas as pd
import csv

def parse_bad_txt_to_table(filepath):
    """
    解析非标准空格分隔的文本文件，并将其转换为一个列表的列表。
    """
    table = []
    with open(filepath, 'r', encoding='utf-8') as f:
        lines = f.readlines()

    for i, line in enumerate(lines):
        line = line.rstrip('\n') # 移除行末换行符

        if i == 0:
            # 头部（标题行）处理：假设头部字段间至少有两个空格
            row = re.split(r' {2,}', line)
            table.append(row)
            continue

        if not line.strip():
            # 空白行处理：跳过
            continue

        # 数据行处理：使用 replfunc 替换不规则空格
        def replfunc(mo):
            L = len(mo.group(0)) # 匹配到的空格长度
            start, end = mo.span()

            # 特殊情况：处理字段内的双空格，如 "Rejected at  level."
            if L == 2:
                if (line[:start].endswith('Rejected at') and
                    line[end:].startswith('level.')):
                    return ' ' # 替换为单个空格，保持字段完整性

            # 其他情况：根据空格长度替换为制表符
            # 这些长度是根据示例数据推断的启发式规则，可能需要根据实际文件调整
            if L < 2:
                # 理论上不应该匹配到小于2个空格，除非正则表达式有变
                return mo.group(0)
            elif 2 <= L <= 12:
                return '\t'
            elif L == 17:
                return '\t\t' # 示例中可能代表两个空字段
            elif L == 43:
                return '\t\t\t' # 示例中可能代表三个空字段
            elif L == 61:
                return '\t\t\t\t\t' # 示例中可能代表五个空字段
            elif L == 120 or L == 263:
                return '\t'
            else:
                # 如果遇到未知的空格长度，可以根据需要处理，例如抛出异常或返回原始空格
                print(f"警告: 遇到未知空格长度 {L} 在行: {line}")
                return f'<{L}>' # 标记未知长度，方便调试

        tabbed_line = re.sub(r'\s{2,}', replfunc, line)
        row = tabbed_line.split('\t')

        # 清理行尾可能多余的空字符串（如果原始行尾有多余分隔符）
        row = [field.strip() for field in row if field.strip() or field == '']
        table.append(row)

    return table

# 假设你的文件名为 'input.txt'
input_filepath = 'input.txt'
parsed_data = parse_bad_txt_to_table(input_filepath)

# 打印解析结果（可选）
# for r in parsed_data:
#     print(r)

# ... (接上面的解析代码) ...

def save_table_to_csv(table_data, output_filepath):
    """
    将解析后的数据保存为CSV文件。
    """
    if not table_data:
        print("没有数据可写入CSV。")
        return

    # 确保所有行的字段数量一致，不足的用空字符串填充
    # 找到最大字段数
    max_cols = max(len(row) for row in table_data)
    processed_table = []
    for row in table_data:
        # 填充或截断行以匹配最大列数
        if len(row) < max_cols:
            processed_table.append(row + [''] * (max_cols - len(row)))
        else:
            processed_table.append(row[:max_cols]) # 截断多余的字段（如果存在）

    # 使用 pandas 写入 CSV
    df = pd.DataFrame(processed_table[1:], columns=processed_table[0])
    df.to_csv(output_filepath, index=False, encoding='utf-8')
    print(f"数据已成功保存到 {output_filepath}")

# 将解析后的数据保存为 CSV
output_filepath = 'Report.csv'
save_table_to_csv(parsed_data, output_filepath)

# 也可以使用 Python 内置的 csv 模块
# def save_table_to_csv_with_csv_module(table_data, output_filepath):
#     if not table_data:
#         print("没有数据可写入CSV。")
#         return
#     with open(output_filepath, 'w', newline='', encoding='utf-8') as csvfile:
#         csv_writer = csv.writer(csvfile)
#         csv_writer.writerows(table_data)
#     print(f"数据已成功保存到 {output_filepath} (使用csv模块)")

# save_table_to_csv_with_csv_module(parsed_data, 'Report_csv_module.csv')