在数据处理领域，我们经常会遇到格式不规范的文本文件，这些文件因其不一致的分隔符而被称为“坏”文本文件。尤其当分隔符是空格时，问题会更加复杂：字段之间可能存在不同数量的空格，甚至字段内部也可能包含看似分隔符的空格。在这种情况下，诸如pandas read_csv等标准库函数往往难以直接处理，因为它无法准确区分真正的字段边界和字段内的内容。本教程将指导您如何使用python和正则表达式来处理这类挑战性的文本文件，并将其转换为规范的csv格式。
一个典型的“坏”文本文件可能具有以下特点：
对于这类文件，尝试使用pd.read_csv并指定sep='\t'或sep=r'\s{2,}'通常会失败，因为这些方法无法处理上述的复杂性和歧义性。
import pandas as pd
# 尝试使用制表符分隔，对于空格分隔的文件无效
# df = pd.read_csv('file1.txt', sep='\t', index_col=False, dtype='object')
# 尝试使用2个或更多空格作为分隔符，但可能无法区分字段内空格
# df = pd.read_csv("file1.txt", sep=r"\s{2,}", engine="python")
# 这些方法对于不规范文件通常无法得到预期结果处理这种“坏”文本文件的最有效方法是编写一个自定义的解析器，逐行读取文件，并利用正则表达式进行精确的模式匹配和替换。核心思想是：
下面是一个具体的Python实现示例：
立即学习“Python免费学习笔记（深入）”；
import re
import csv
import sys
def parse_bad_txt_to_csv(input_filepath, output_filepath):
"""
解析不规范的空格分隔文本文件，并将其转换为CSV格式。
Args:
input_filepath (str): 输入的不规范文本文件路径。
output_filepath (str): 输出的CSV文件路径。
"""
table = []
with open(input_filepath, 'r', encoding='utf-8') as f:
lines = f.readlines()
for i, line in enumerate(lines):
line = line.rstrip('\n') # 移除行尾换行符
if i == 0:
# 第一行通常是标题行，可以假设字段间没有内部空格
# 简单地按2个或更多空格分割
row = re.split(r' {2,}', line)
table.append(row)
continue
if not line.strip(): # 检查是否是空行
# 忽略空行
continue
# 对于数据行，需要更复杂的逻辑来处理空格
def replfunc(match_obj):
"""
自定义替换函数，用于区分字段分隔符和字段内部空格。
根据匹配到的空格长度及其上下文决定如何替换。
"""
L = len(match_obj.group(0)) # 匹配到的连续空格的长度
# 特殊情况处理：例如，某些字段值内部的“Rejected at level.”
# 这里的2个空格是字段内容的一部分，而非分隔符
start, end = match_obj.span()
if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'):
return ' ' # 替换为单个空格，保持为字段内容
# 其他情况：根据空格长度判断为字段分隔符，替换为制表符
# 这些长度是根据具体数据文件观察得出的，需要根据实际文件调整
if L < 2:
# 理论上不会出现，因为我们匹配的是2个或更多空格
return match_obj.group(0)
elif 2 <= L <= 12:
return '\t' # 2到12个空格视为一个字段分隔符
elif L == 17:
return '\t\t' # 17个空格视为两个字段分隔符（如果字段是空的）
elif L == 43:
return '\t\t\t' # 43个空格视为三个字段分隔符
elif L == 61:
return '\t\t\t\t\t' # 61个空格视为五个字段分隔符
elif L == 120 or L == 263:
return '\t' # 特殊长度的空格，视为一个字段分隔符
else:
# 如果遇到未预期的空格长度，可以打印警告或返回原始匹配
sys.stderr.write(f"Warning: Unexpected space length {L} at line {i+1}\n")
return f'<{L}>' # 用特殊标记包裹，方便后续检查
# 使用replfunc替换所有连续2个或更多空格
tabbed_line = re.sub(r'\s{2,}', replfunc, line)
# 按照制表符分割行，得到字段列表
row = tabbed_line.split('\t')
table.append(row)
# 将处理后的数据写入CSV文件
with open(output_filepath, 'w', newline='', encoding='utf-8') as csvfile:
csv_writer = csv.writer(csvfile)
csv_writer.writerows(table)
print(f"文件已成功转换为CSV：{output_filepath}")
# 示例用法
if __name__ == "__main__":
# 创建一个模拟的“坏”文本文件
sample_data = """HP TRA ID CL ID IN/EId No Loop Element Name Freq STATUS Error Severity Error ID Message Report Source
13ZI 20712800032 1 Denied Error HP_DOSOlderTh Date of service is older than 12 months HP
13ZI 20712800032 1 1 Rejected Error CA16 Rejected at level. DupKeyID:0 is a Rejected of DupKeyID:0 from EncounterID:15C7XE9GV00 Claim ID:P_20712800032ALPHA_1649845496_19961109508100_716. HP
13ZI 20712800032 2 1 Rejected Error CA16 Rejected at level. DupKeyID:1 is a Rejected of DupKeyID:1 from EncounterID:15C7XE9GV00 Claim ID:P_20712800032ALPHA_1649845496_19961109508100_716. HP
13ZI 20712800032 3 1 Rejected Error CA16 Rejected at level. DupKeyID:2 is a Rejected of DupKeyID:2 from EncounterID:15C7XE9GV00 Claim ID:P_20712800032ALPHA_1649845496_19961109508100_716. HP
1P8TY0J25 20712805263 1 Denied Error HP_DOSOlderTh Date of service is older than 12 months
"""
with open('input.txt', 'w', encoding='utf-8') as f:
f.write(sample_data)
parse_bad_txt_to_csv('input.txt', 'output.csv')
# 验证输出 (可选)
# df_output = pd.read_csv('output.csv')
# print(df_output.head())处理不规范的文本文件并将其转换为CSV是一项常见的挑战。虽然标准库函数在大多数情况下表现良好，但面对具有复杂、模糊分隔符的“坏”文件时，自定义解析器是必不可少的。通过结合Python的字符串处理能力和正则表达式的强大模式匹配功能，我们可以创建出灵活且精确的解决方案，即使是最棘手的数据格式也能迎刃而解。关键在于对数据模式的深入理解和re.sub配合自定义替换函数的巧妙运用。请记住，此方法的成功高度依赖于您对特定输入文件结构的分析和适应。
以上就是Python处理非标准分隔符文本文件转换为CSV的实战指南的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
168
收藏
