解决Pandas read_csv 处理不平衡引号与初始空白问题

本文旨在解决使用pandas `read_csv` 读取csv文件时，因列中存在不平衡引号（如`"(10,12)`）和分隔符后初始空白字符导致的解析失败问题。我们将通过结合正则表达式预处理字符串数据和 `read_csv` 的 `skipinitialspace` 参数，实现对复杂csv数据的健壮性解析，确保混合格式数据能够正确加载到dataframe中。

理解CSV数据解析中的常见陷阱

在使用Pandas的read_csv函数处理复杂CSV文件时，开发者常会遇到一些棘手的解析问题。其中，最常见且难以直接解决的包括：

1. 不平衡的引号： CSV标准允许使用双引号来包含含有逗号或特殊字符的字段。然而，如果数据源中的引号不匹配（例如，只有开引号而没有闭引号，如"(10,12)），read_csv将无法正确识别字段边界，可能导致数据被错误地合并或截断。
2. 分隔符后的初始空白： 有些CSV文件在分隔符（如逗号）之后、字段内容之前会包含一个或多个空格。默认情况下，read_csv可能不会自动去除这些空格，特别是当字段被引号包围时，这可能导致解析结果中出现不必要的空白字符，影响后续数据处理。

这些问题尤其容易出现在某一列包含多种数据格式（如整数、布尔值和字符串表示的元组）的CSV文件中。

解决方案：预处理与Pandas配置

为了克服上述挑战，我们需要采取组合策略：首先对原始CSV数据进行预处理以修复不平衡的引号，然后配置read_csv以正确处理分隔符后的空白。

1. 处理不平衡引号：使用正则表达式修复数据

针对不平衡的引号问题，一种有效的方法是在文件读取之前，使用正则表达式对文件内容进行字符串替换。我们的目标是识别那些本应被引号包围但却缺少闭引号的模式。

例如，如果遇到"(10,12),这样的模式，很明显在"和(之间缺少了一个闭引号。我们可以寻找 ) 后面紧跟着逗号 , 的情况，并在 ) 之后、逗号之前插入一个双引号 "。

使用的正则表达式模式如下：

• 查找模式： r'(\))\s*(,)'
  • (\))：匹配一个闭括号 )，并将其捕获为第一个组 (\1)。
  • \s*：匹配零个或多个空白字符。
  • (,)：匹配一个逗号 ,，并将其捕获为第二个组 (\2)。
• 替换模式： r'\1"\2'
  • \1：插入第一个捕获组（即 )）。
  • "：插入一个双引号。
  • \2：插入第二个捕获组（即 ,）。

通过这种替换，"(10,12), 就会被转换为 "(10,12)",，从而修复了不平衡的引号。

2. 处理分隔符后空白：skipinitialspace=True 参数

Pandas read_csv 提供了一个参数 skipinitialspace 来专门处理分隔符后的空白。当此参数设置为 True 时，read_csv 会在解析字段时忽略分隔符后的初始空白字符。这对于像 0, 1, "(10,12)", "(20,11)", 9 这样的数据行至关重要，它能确保 "(10,12)" 不会被解析成 " (10,12)"。

完整实现示例

下面是一个完整的Python代码示例，演示了如何结合使用正则表达式预处理和 skipinitialspace 参数来健壮地读取包含复杂格式和不平衡引号的CSV文件。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

22

查看详情

假设我们有一个名为 my_csv.csv 的文件，内容如下：

0, 1, "(10,12), "(20,11)", 9

请注意，"(10,12) 缺少了闭引号。

import io
import re
import pandas as pd

def read_problematic_csv(file_path):
    """
    读取并解析包含不平衡引号和分隔符后空白的CSV文件。

    Args:
        file_path (str): CSV文件的路径。

    Returns:
        pandas.DataFrame: 解析后的DataFrame。
    """
    try:
        with open(file_path, 'r', encoding='utf-8') as f:
            # 读取文件内容
            csv_content = f.read()

            # 使用正则表达式修复不平衡的引号
            # 查找 ') ' 或 '),' 并替换为 ')",'
            # 例如: "(10,12), " -> "(10,12)", "
            # 这里我们假设闭括号 ')' 后面应该紧跟一个引号，然后才是逗号
            # 原始问题中的例子是 `"(10,12), "(20,11)"`，修复后应为 `"(10,12)", "(20,11)"`
            # 我们的正则匹配 `)` 后面跟着可选的空白和逗号，并在 `)` 之后、逗号之前插入 `"`
            processed_content = re.sub(r'(\))\s*(,)', r'\1"\2', csv_content)

            # 使用io.StringIO将处理后的字符串内容视为文件对象
            df = pd.read_csv(io.StringIO(processed_content),
                             skipinitialspace=True,  # 忽略分隔符后的初始空白
                             header=None             # 如果CSV没有标题行，则设置为None
                            )
        return df
    except FileNotFoundError:
        print(f"错误: 文件 '{file_path}' 未找到。")
        return pd.DataFrame()
    except Exception as e:
        print(f"读取或解析CSV时发生错误: {e}")
        return pd.DataFrame()

# 示例使用
if __name__ == "__main__":
    # 创建一个模拟的CSV文件
    with open('my_csv.csv', 'w', encoding='utf-8') as f:
        f.write('0, 1, "(10,12), "(20,11)", 9\n')

    df_result = read_problematic_csv('my_csv.csv')
    print("解析后的DataFrame:")
    print(df_result)

    # 清理模拟文件
    import os
    if os.path.exists('my_csv.csv'):
        os.remove('my_csv.csv')

代码解析：

1. 文件读取与预处理：
   • with open(file_path, 'r', encoding='utf-8') as f:：以UTF-8编码打开CSV文件。
   • csv_content = f.read()：将整个文件内容读取为一个字符串。
   • processed_content = re.sub(r'(\))\s*(,)', r'\1"\2', csv_content)：这是核心预处理步骤，利用正则表达式修复了不平衡的引号。它会查找所有 ) 后跟着可选空白和 , 的模式，并在 ) 和 , 之间插入一个 "。
2. io.StringIO 的使用：
   • io.StringIO(processed_content)：将处理后的字符串内容封装成一个类似文件的对象。这样，pd.read_csv 就可以像读取实际文件一样读取这个字符串。
3. pd.read_csv 参数：
   • skipinitialspace=True：指示Pandas在逗号分隔符之后跳过任何初始空白字符，确保 "(10,12)" 这样的字符串能够被正确解析，而不是包含前导空格。
   • header=None：如果CSV文件没有标题行，此参数是必需的，它会告诉Pandas不要将第一行作为列名，而是将其作为数据处理。

运行结果与注意事项

运行上述代码，你将得到如下输出：

解析后的DataFrame:
   0  1        2        3  4
0  0  1  (10,12)  (20,11)  9

可以看到，原本不平衡引号和包含前导空格的字符串 "(10,12) 和 "(20,11)" 都被正确地解析为DataFrame的单元格内容，并且前导空格也被正确处理。

注意事项：

• 正则表达式的普适性： 本文提供的正则表达式是针对特定模式 ) 后面缺少闭引号的情况。如果你的CSV文件存在其他类型的不平衡引号问题（例如，开头就没有引号，或者引号在其他位置缺失），可能需要调整正则表达式以适应具体情况。
• 编码： 确保使用正确的编码（如utf-8）打开CSV文件，以避免乱码问题。
• header 参数： 根据你的CSV文件是否有标题行，正确设置 header 参数。如果文件有标题行，应将其设置为 0 或省略（默认值），让Pandas自动识别。
• 性能考量： 对于非常大的CSV文件，将整个文件内容读入内存进行字符串替换可能会消耗较多内存。在这种情况下，可以考虑逐行读取和处理，或者使用更高级的流式处理方法。

通过结合文件预处理和Pandas的灵活配置，我们可以有效地解决CSV数据中常见的解析难题，确保数据能够准确、完整地加载到Pandas DataFrame中进行后续分析。

以上就是解决Pandas read_csv 处理不平衡引号与初始空白问题的详细内容，更多请关注php中文网其它相关文章！