处理Pandas中带嵌入双引号的制表符分隔文件：实现精确读写回溯

"HEADER"    "ID"    "Part Reference"    "Value" "Part_Description"
"PARTOCC:17306" "17306" "M1"    "48SL-5S-50-C-LF"   "Series 48SL–5 WEDGE–LOK, 2-56UNC-2B, 5.00", chem film, lock washer and flat"
"PARTOCC:17310" "17310" "M2"    "48SL-5S-50-C-LF"   "Series 48SL–5 WEDGE–LOK, 2-56UNC-2B, 5.00", chem film, lock washer and flat"
"PARTOCC:65494" "65494" "J4E"   "311P822-MC-095-BS-D"   "GSFC CPCI J3 RA MALE 95 Position 0.123" tails"

import csv

def parse_non_standard_tsv(filepath: str) -> list[list[str]]:
    """
    使用csv模块解析非标准TSV文件，手动剥离字段两端的双引号。

    Args:
        filepath (str): TSV文件的路径。

    Returns:
        list[list[str]]: 解析后的数据，每行是一个字符串列表。
    """
    rows_data: list[list[str]] = []
    with open(filepath, newline="", encoding='utf-8') as f:
        # 使用QUOTE_NONE告诉csv模块不要处理引用，我们将手动处理
        reader = csv.reader(f, delimiter="	", quoting=csv.QUOTE_NONE)

        # 读取并处理头部
        header_raw = next(reader)
        # 剥离每个头部字段两端的双引号
        header = [x[1:-1] for x in header_raw]
        rows_data.append(header)

        # 读取并处理数据行
        for row_raw in reader:
            # 剥离每个数据字段两端的双引号
            processed_row = [x[1:-1] for x in row_raw]
            rows_data.append(processed_row)
    return rows_data

# 示例文件路径
exp_fn = r"test.exp"

# 解析文件
parsed_data = parse_non_standard_tsv(exp_fn)

# 打印解析后的数据（前几行）
for i, row in enumerate(parsed_data):
    if i < 5: # 打印前5行
        print(row)
    else:
        break

# 注意：如果需要将数据写回原始的“坏”格式，此方法需要额外的编码逻辑。
# 直接使用csv.writer写回，默认会尝试转义内部引号，可能无法匹配原始输入。
# 例如，如果内部字段包含引号，csv.writer会将其双重转义。
# 如果仅是解析并用于内部处理，此方法非常有效。

import sys

# 定义文件格式常量
END = "
"  # 预期行结束符
DELIM = "	"  # 预期分隔符
QUOT = '"'  # 预期引用字符

Row = list[str] # 定义行类型

def decode(line: str) -> Row:
    """
    解码一个非标准编码的CSV/TSV行。
    确保行以END结尾，按DELIM分割行，并验证每个字段是否以QUOT开始和结束，
    然后剥离这些外部的QUOT。

    Args:
        line (str): 待解码的单行字符串。

    Returns:
        Row: 解码后的字段列表。

    Raises:
        ValueError: 如果行格式不符合预期。
    """
    if not line.endswith(END):
        raise ValueError(f"行不以 {repr(END)} 结尾")

    # 移除行结束符
    line = line[:-len(END)]
    fields = line.split(DELIM)

    for i, field in enumerate(fields):
        # 验证字段是否被引用字符包裹
        if not (field.startswith(QUOT) and field.endswith(QUOT)):
            raise ValueError(f"字段 {i} 未被 {repr(QUOT)} 包裹: {repr(field)}")

        # 剥离字段两端的引用字符
        fields[i] = field[1:-1]
    return fields

def encode(row: Row) -> str:
    """
    将一行字段编码回其原始的非标准格式。
    为每个字段添加引用字符，然后用分隔符连接，最后添加行结束符。

    Args:
        row (Row): 待编码的字段列表。

    Returns:
        str: 编码后的单行字符串。
    """
    # 为每个字段添加引用字符并用分隔符连接
    line = DELIM.join([f"{QUOT}{field}{QUOT}" for field in row])
    # 添加行结束符
    return line + END

def exit_err(msg: str):
    """打印错误信息并退出程序。"""
    print(msg, file=sys.stderr)
    sys.exit(1)

# 示例文件路径
input_fn = "test.exp"
output_fn = "check.exp"

rows_data: list[Row] = []
try:
    with open(input_fn, 'r', encoding='utf-8') as f_in:
        # 解码头部
        header_line = next(f_in)
        header = decode(header_line)
        rows_data.append(header) # 将头部也视为数据的一部分，方便后续统一处理

        # 解码数据行
        for i, line in enumerate(f_in):
            rows_data.append(decode(line))

    with open(output_fn, "w", encoding='utf-8') as f_out:
        # 编码并写入头部
        f_out.write(encode(rows_data[0])) # 写入第一个元素（头部）

        # 编码并写入数据行
        for row in rows_data[1:]: # 从第二个元素开始写入数据
            f_out.write(encode(row))

    print(f"文件 '{input_fn}' 已成功读入并以相同格式写回至 '{output_fn}'。")
    # 验证输入与输出是否完全一致（在shell中可以使用 diff input.txt output.txt）
    # 在Python中也可以读取两个文件内容进行比较
    with open(input_fn, 'r', encoding='utf-8') as f_in_orig, 
         open(output_fn, 'r', encoding='utf-8') as f_out_new:
        if f_in_orig.read() == f_out_new.read():
            print("输入文件与输出文件内容完全一致。")
        else:
            print("警告：输入文件与输出文件内容不一致。")

except ValueError as e:
    exit_err(f"解码错误: {e}")
except FileNotFoundError:
    exit_err(f"文件 '{input_fn}' 未找到。")
except Exception as e:
    exit_err(f"发生意外错误: {e}")

import csv
import re
from io import StringIO
import pandas as pd

# 示例文件路径
input_fn = "test.exp"
output_fn = "check.exp"

try:
    with open(input_fn, 'r', encoding='utf-8') as f:
        text = f.read()

    # 预处理：使用正则表达式将字段内部的未转义双引号替换为转义形式 "
    # 这里我们假设嵌入的引号通常出现在数字后面，如 5.00"
    # 更通用的模式可能需要根据实际数据调整
    # 原始: "Series ..., 5.00", chem film..."
    # 目标: "Series ..., 5.00"", chem film..." (Pandas能理解)
    # 确保只替换内部的引号，而不是字段的包裹引号
    # 这个正则表达式 (r'(d+.d+)"') 是针对示例数据中 "5.00"" 的情况
    # 对于更复杂的内部引号，可能需要更精细的正则或更复杂的解析逻辑
    text = re.sub(r'(d+.d+)"', r'g<1>\"', text)

    # 使用StringIO将处理后的文本作为文件对象传递给Pandas
    # quotechar='"': 指定双引号为引用字符
    # sep="	": 指定制表符为分隔符
    # escapechar="\": 指定反斜杠为转义字符，这样Pandas会把 " 视为一个字面量引号
    df = pd.read_csv(StringIO(text), quotechar='"', sep="	", escapechar="\", dtype=str)

    # 创建一个StringIO对象用于捕获to_csv的输出
    out_f = StringIO()

    # 将DataFrame写回TSV格式
    df.to_csv(
        out_f,
        sep="	",
        quoting=csv.QUOTE_ALL,  # 强制所有字段都被引用
        doublequote=False,      # 禁用双重引用内部引号（因为我们使用了escapechar）
        escapechar="\",        # 使用反斜杠转义内部引号
        index=False,            # 不写入DataFrame索引
    )

    # 获取to_csv的输出文本
    text_output = out_f.getvalue()

    # 后处理：将Pandas生成的转义引号 " 还原为原始的未转义引号 "
    text_output = text_output.replace(r""", '"')

    # 将最终文本写入输出文件
    with open(output_fn, "w", encoding='utf-8') as f_out:
        f_out.write(text_output)

    print(f"文件 '{input_fn}' 已通过Pandas处理并以相同格式写回至 '{output_fn}'。")
    # 验证输入与输出是否完全一致
    with open(input_fn, 'r', encoding='utf-8') as f_in_orig, 
         open(output_fn, 'r', encoding='utf-8') as f_out_new:
        if f_in_orig.read() == f_out_new.read():
            print("输入文件与输出文件内容完全一致。")
        else:
            print("警告：输入文件与输出文件内容不一致。")

except FileNotFoundError:
    print(f"错误：文件 '{input_fn}' 未找到。", file=sys.stderr)
    sys.exit(1)
except Exception as e:
    print(f"发生意外错误: {e}", file=sys.stderr)
    sys.exit(1)