Pandas read_csv处理复杂引用与混合格式列的教程-Python教程-PHP中文网

Pandas read_csv处理复杂引用与混合格式列的教程

花韻仙語

发布： 2025-10-23 11:13:21

原创

802人浏览过

Pandas read_csv处理复杂引用与混合格式列的教程

本教程旨在解决使用pandas `read_csv`读取包含混合数据类型和非标准引用格式（如不平衡引号、逗号后空格）的csv文件时遇到的解析难题。通过结合正则表达式预处理和`skipinitialspace`参数，可以有效纠正数据中的引用错误并成功将复杂数据导入dataframe，确保数据完整性和准确性。

在数据分析和处理中，CSV文件是最常见的数据源之一。然而，当CSV文件中的某一列包含多种数据格式，特别是当这些格式涉及引号不规范或分隔符后存在额外空格时，使用pandas.read_csv函数直接读取可能会遇到解析错误。本文将详细探讨这类问题的原因及提供一套行之有效的解决方案。

问题描述

假设我们有一个CSV文件，其中一列包含整数（0, 1, 9）、以及字符串表示的元组（如"(10,12)", "(20,11)"）。常见的问题在于，这些字符串元组可能存在不平衡的引号，或者在逗号分隔符后紧跟着一个空格，导致read_csv无法正确识别和解析这些单元格内容。例如，原始数据可能呈现为：0, 1, "(10,12), "(20,11)", 9。在这种情况下，"(10,12)缺少一个闭合引号，而"(20,11)"前的逗号后可能存在一个空格。

问题根源分析

pandas.read_csv在解析CSV文件时，会根据预设的规则（如quotechar, quoting, delimiter等）来识别字段。当遇到以下情况时，默认的解析机制会失效：

不平衡的引号： 如果一个字段的开头有引号而结尾缺少引号，或者引号配对不正确，read_csv可能无法正确识别字段边界，导致数据被错误地合并或截断。例如，"(10,12)会被视为一个未闭合的字符串，可能会吞噬后续内容。
分隔符后的额外空格： 默认情况下，read_csv在解析字段时，如果分隔符后紧跟一个空格，它会将其视为字段内容的一部分，而不是忽略它。这可能导致解析出的字符串包含不必要的空格。

解决方案

解决这类问题需要两步：首先对原始CSV数据进行预处理以修复不平衡的引号，然后在使用read_csv时配置正确的参数来处理分隔符后的空格。

1. 数据预处理：修复不平衡引号

我们可以利用正则表达式来查找并修复CSV字符串中不平衡的引号。具体来说，当一个闭合括号))后紧跟着一个逗号,时，如果它们之间没有引号，则很可能是在))后缺少了一个闭合引号。

import re
import pandas as pd
import io

# 假设原始CSV文件内容如下，注意 "(10,12) 后面缺少引号
# 0, 1, "(10,12), "(20,11)", 9
# 这里的目标是将 "(10,12), 修正为 "(10,12)",

# 定义一个正则表达式，用于查找闭合括号后紧跟逗号（可能中间有空格）的情况
# 并确保在逗号前插入一个引号
# r'(\))\s*(,)' 匹配：捕获组1为')'，\s*匹配0个或多个空格，捕获组2为','
# 替换为 r'\1"\2'：将捕获组1、一个引号、捕获组2组合起来
# 例如：(10,12), -> (10,12)",
csv_data = """0, 1, "(10,12), "(20,11)", 9"""
fixed_csv_data = re.sub(r'(\))\s*(,)', r'\1"\2', csv_data)

print("原始数据:\n", csv_data)
print("修复引号后的数据:\n", fixed_csv_data)

登录后复制

输出示例：

原始数据:
 0, 1, "(10,12), "(20,11)", 9
修复引号后的数据:
 0, 1, "(10,12)", "(20,11)", 9

登录后复制

通过上述预处理，我们成功地在(10,12)之后插入了缺失的闭合引号。

腾讯混元

腾讯混元大由腾讯研发的大语言模型，具备强大的中文创作能力、逻辑推理能力，以及可靠的任务执行能力。

查看详情

2. pandas.read_csv参数配置

修复了引号问题后，我们还需要处理分隔符后的空格。pandas.read_csv提供了一个参数skipinitialspace，当设置为True时，它会跳过分隔符（如逗号）后的初始空格。这对于那些在逗号后习惯性地添加空格的CSV文件非常有用。

# 假设我们有一个名为 'my_csv.csv' 的文件
# 为了演示，我们直接使用io.StringIO来模拟文件读取
# 实际应用中，您会直接使用 open('my_csv.csv')
file_content = """0, 1, "(10,12), "(20,11)", 9"""

# 1. 读取文件内容
# 2. 使用re.sub修复不平衡引号
# 3. 将修复后的字符串包装到io.StringIO中，模拟文件对象
# 4. 使用pandas.read_csv读取数据
#    - skipinitialspace=True: 忽略分隔符后的空格
#    - header=None: 如果CSV文件没有标题行，则设置为None
try:
    df = pd.read_csv(io.StringIO(re.sub(r'(\))\s*(,)', r'\1"\2', file_content)),
                     skipinitialspace=True,
                     header=None) # 如果您的CSV有标题行，请移除此参数或设置为0
    print("\n成功解析后的DataFrame:")
    print(df)
except Exception as e:
    print(f"读取CSV时发生错误: {e}")

登录后复制

输出示例：

成功解析后的DataFrame:
   0  1        2        3  4
0  0  1  (10,12)  (20,11)  9

登录后复制

从输出可以看出，原始数据中的"(10,12)和"(20,11)"都被正确地解析为单独的字符串单元格，并且没有包含额外的空格。

完整代码示例

将上述两个步骤整合到一起，形成一个完整的解决方案：

import io
import re
import pandas as pd

# 假设这是您的CSV文件内容，或者您可以直接从文件中读取
# 注意：这里模拟了原始数据中 "(10,12) 缺少闭合引号，以及逗号后有空格的情况
raw_csv_content = """0, 1, "(10,12), "(20,11)", 9"""

# --- 步骤1: 预处理CSV字符串，修复不平衡引号 ---
# 使用正则表达式在闭合括号后紧跟逗号时，插入一个闭合引号
# r'(\))\s*(,)' 匹配：捕获组1为')'，\s*匹配0个或多个空格，捕获组2为','
# 替换为 r'\1"\2'：将捕获组1、一个引号、捕获组2组合起来
processed_csv_content = re.sub(r'(\))\s*(,)', r'\1"\2', raw_csv_content)

# --- 步骤2: 使用pandas.read_csv解析数据 ---
# 将预处理后的字符串包装成文件对象，供read_csv读取
# skipinitialspace=True: 确保在分隔符（逗号）后的空格被忽略
# header=None: 假设CSV没有标题行。如果您的文件有标题行，请删除此参数或设置为0
try:
    df = pd.read_csv(io.StringIO(processed_csv_content),
                     skipinitialspace=True,
                     header=None)

    print("原始CSV内容:\n", raw_csv_content)
    print("\n预处理后的CSV内容:\n", processed_csv_content)
    print("\n最终解析的DataFrame:")
    print(df)

except Exception as e:
    print(f"读取CSV时发生错误: {e}")

登录后复制