Python csv.writer 写入数据时额外引号问题的解析与解决方案

问题描述与根源分析

在使用 Python 的 csv 模块向 CSV 文件写入数据时，一个常见的问题是，即使我们希望数据以 item1,item2,item3 的形式呈现，最终输出却变成了 "item1,item2,item3"，即整个字段被额外的一对双引号包裹。这通常发生在数据源的结构与 csv.writer 的预期不符时。

考虑以下典型场景：从数据库（如 MySQL）查询数据，并使用 cursor.fetchall() 获取结果集。如果数据库查询结果的每一行被设计为包含一个已经由逗号分隔的字符串，例如：

# 假设从数据库获取的 result_set 结构如下：
result_set = [
    ('item1,item2,item3',),
    ('item4,item5,item6',)
]

在这种情况下，result_set 中的每个元素都是一个单元素元组 ('...')，而这个元组内部的字符串 ('item1,item2,item3') 已经包含了我们期望的多个字段。

当我们尝试使用 csv.writer.writerows() 方法直接写入这样的 result_set 时，csv.writer 的默认行为是将每个元组视为一行，并将元组中的每个元素视为一个独立的字段。因此，当它遇到 ('item1,item2,item3',) 时，它会将其内部的 'item1,item2,item3' 视为一个完整的字符串字段。根据 CSV 规范，如果一个字段内部包含逗号（或其他分隔符），或者包含换行符、引号等特殊字符，csv.writer 会自动用双引号将其包裹起来，以确保数据的完整性和正确解析。这就是导致 "item1,item2,item3" 出现的原因。

立即学习“Python免费学习笔记（深入）”；

以下是导致此问题的典型代码示例：

import csv

# 模拟从数据库获取的数据集
# 注意：每个元组只包含一个元素，而这个元素本身是逗号分隔的字符串
result_set = [
    ('item1,item2,item3',),
    ('item4,item5,item6',)
]

filename = 'output_quoted.csv'
try:
    with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
        datafile = csv.writer(csvfile)
        datafile.writerows(result_set)
    print(f"数据已写入 {filename}，请检查内容。")
except Exception as e:
    print(f"写入文件时发生错误: {e}")

# output_quoted.csv 的内容将是：
# "item1,item2,item3"
# "item4,item5,item6"

解决方案：数据预处理

解决这个问题的核心思想是：在将数据传递给 csv.writer 之前，对其进行预处理，确保每一行都是一个包含独立字段的列表或元组，而不是一个包含逗号分隔字符串的单元素元组。最直接的方法是使用字符串的 split(',') 方法。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

22

查看详情

由于 result_set 的结构是 [('value1,value2',), ('value3,value4',)]，我们可以遍历 result_set，对于每个单元素元组 (col,)，取出其内部的字符串 col，然后使用 col.split(',') 将其拆分成一个字段列表。

import csv

# 模拟从数据库获取的数据集
result_set = [
    ('item1,item2,item3',),
    ('item4,item5,item6',),
    ('item7,item8,item9,item10',) # 示例包含不同数量的字段
]

filename = 'output_unquoted.csv'
try:
    with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
        datafile = csv.writer(csvfile)

        # 关键的预处理步骤：使用生成器表达式
        # 对于 result_set 中的每个 (col,) 元组，取出 col 并用逗号分割
        processed_data = (col.split(",") for (col,) in result_set)

        datafile.writerows(processed_data)
    print(f"数据已写入 {filename}，请检查内容。")
except Exception as e:
    print(f"写入文件时发生错误: {e}")

# output_unquoted.csv 的内容将是：
# item1,item2,item3
# item4,item5,item6
# item7,item8,item9,item10

代码示例与详解

在上述解决方案中，核心在于这一行：

processed_data = (col.split(",") for (col,) in result_set)

这是一个生成器表达式，它做了以下几件事：

1. (col,) in result_set: 遍历 result_set 中的每个元素。由于 result_set 中的每个元素都是一个单元素元组（例如 ('item1,item2,item3',)），我们使用 (col,) 进行元组解包，直接将元组内部的字符串赋值给变量 col。
2. col.split(","): 对获取到的 col 字符串执行 split(",") 操作。这将把字符串按照逗号分割成一个列表。例如，'item1,item2,item3'.split(',') 会得到 ['item1', 'item2', 'item3']。
3. ( ... for ... in ... ): 这是一个生成器表达式，它不会立即创建整个列表，而是按需生成每个处理后的行数据。这对于处理大型数据集非常高效，因为它避免了一次性将所有处理后的数据加载到内存中。

当 datafile.writerows(processed_data) 被调用时，csv.writer 会从 processed_data 生成器中逐一获取处理后的行数据（即形如 ['item1', 'item2', 'item3'] 的列表），然后将列表中的每个元素作为独立的字段写入 CSV 文件，并正确地用逗号分隔，而不会再额外添加双引号，除非字段本身包含特殊字符（如逗号、双引号或换行符）且 quoting 参数设置为 csv.QUOTE_MINIMAL（这是默认行为）。

注意事项与最佳实践

1. 数据源结构确认： 在处理从数据库或其他外部源获取的数据时，务必清楚其返回的数据结构。理解 cursor.fetchall() 返回的是一个元组的列表，其中每个元组代表一行，而元组内部的元素才是字段。如果你的查询本身就将多个字段合并成一个字符串返回，那么这种预处理是必要的。理想情况下，数据库查询应该返回多个独立的字段，而不是一个合并的字符串。 例如，如果数据库查询返回的是 [('item1', 'item2', 'item3'), ('item4', 'item5', 'item6')] 这样的结构，那么就不需要 split() 操作，可以直接使用 writerows() 写入。
2. csv.writer 的 quoting 参数： csv.writer 提供了 quoting 参数来控制字段的引用行为：
   • csv.QUOTE_MINIMAL (默认)：仅当字段包含 delimiter、quotechar 或 lineterminator 时才引用。
   • csv.QUOTE_ALL：引用所有字段。
   • csv.QUOTE_NONNUMERIC：引用所有非数字字段。
   • csv.QUOTE_NONE：不引用任何字段。如果字段包含特殊字符，这可能导致输出的 CSV 文件格式错误。 在本次问题中，默认的 QUOTE_MINIMAL 行为正是导致问题的原因，因为它将 item1,item2,item3 视为一个需要被引用的包含逗号的字段。
3. 数据清洗与错误处理： 在使用 split() 方法时，需要考虑以下情况：
   • 空字符串： 如果原始字符串中存在连续的逗号（如 ",item2,item3" 或 item1,,item3），split(',') 会生成空字符串。确保你的下游系统能够正确处理这些空字段。
   • 空白字符： 如果原始字符串中的字段前后有空格（如 " item1 , item2 "），split(',') 之后这些空格会保留。如果需要去除，可以在 split() 后对每个字段进行 strip() 操作，例如 (field.strip() for field in col.split(","))。
   • 分隔符冲突： 确保用于 split() 的分隔符 (',') 不会在字段本身的有效内容中出现，否则会导致不正确的分割。如果字段内容可能包含逗号，则需要重新考虑数据结构或使用更复杂的解析逻辑。

总结

当 Python csv.writer 意外地在写入的字段周围添加额外引号时，通常是因为数据源提供的每一行数据被 csv.writer 错误地解释为包含一个已经预格式化为逗号分隔字符串的“单个字段”。解决此问题的关键在于，在将数据传递给 writerows() 方法之前，对数据进行预处理。通过使用字符串的 split() 方法，将包含多个值的单个字符串拆分成独立的字段列表，可以确保 csv.writer 按照预期将每个字段正确地写入 CSV 文件，避免不必要的引号包裹，从而生成符合标准且易于解析的 CSV 文件。理解数据结构和 csv.writer 的工作原理是避免此类问题的关键。

以上就是Python csv.writer 写入数据时额外引号问题的解析与解决方案的详细内容，更多请关注php中文网其它相关文章！