Pandas与PyArrow引擎读取CSV列数不匹配错误解析与解决方案

import pandas as pd

# 假设文件名为 "test.csv"，我们只想读取 "id_str" 列
try:
    test_df = pd.read_csv("test.csv", usecols=["id_str"], engine="pyarrow")
    print("CSV文件成功读取。")
except Exception as e:
    print(f"读取CSV文件时发生错误: {e}")

pyarrow.lib.ArrowInvalid: CSV parse error: Expected 4 columns, got 3

import pandas as pd
from pyarrow.lib import ArrowInvalid
import os

file_path = "your_huge_file.csv" # 替换为你的CSV文件路径
target_column = "id_str" # 替换为你需要读取的列名

print("--- 故障排查策略一：逐步增加读取行数 ---")

current_rows_to_read = 1000 # 初始尝试读取的行数，可根据文件大小调整
error_found_at_row = -1 # 记录错误可能发生的行数范围上限

while True:
    try:
        print(f"尝试读取前 {current_rows_to_read} 行...")

        # 使用 PyArrow 引擎读取指定列和行数
        temp_df = pd.read_csv(
            file_path,
            usecols=[target_column],
            engine="pyarrow",
            nrows=current_rows_to_read
        )
        print(f"成功读取前 {current_rows_to_read} 行。")

        # 如果实际读取的行数少于预期，说明已到达文件末尾
        if len(temp_df) < current_rows_to_read:
            print("文件已全部成功读取，未发现解析错误。")
            error_found_at_row = -1 # 确认没有错误
            break

        # 如果成功读取且未达到文件末尾，则尝试读取更多行
        current_rows_to_read *= 2 # 每次翻倍，可调整步长以加快或减慢定位速度

    except ArrowInvalid as e:
        print(f"\n捕获到 PyArrow 解析错误：{e}")
        print(f"错误可能发生在文件的前 {current_rows_to_read} 行内。")
        error_found_at_row = current_rows_to_read
        break # 找到错误，退出循环
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 不存在。请检查路径。")
        break
    except Exception as e:
        print(f"发生未知错误：{e}")
        break

if error_found_at_row != -1:
    print(f"\n进一步排查建议：错误很可能在第 {current_rows_to_read // 2 + 1} 行到第 {current_rows_to_read} 行之间。")
    print("请使用文本编辑器或命令行工具（如 `head -n X | tail -n Y`）检查此范围内的行，寻找异常的逗号数量。")
else:
    print("\n恭喜，您的CSV文件结构看起来是正确的，没有发现列数不匹配问题。")

print("\n--- 故障排查策略二：利用操作系统工具分割文件 (适用于Linux/macOS) ---")
print("如果文件过大，无法在内存中处理，可以考虑使用命令行工具分割文件。")
print("例如，使用 'head' 和 'tail' 命令配合：")
print("1. 获取文件头部（例如前10000行）：")
print("   `head -n 10000 your_huge_file.csv > first_10k_rows.csv`")
print("2. 尝试读取 `first_10k_rows.csv`。如果报错，则错误在此文件中。")
print("   `python -c \"import pandas as pd; pd.read_csv('first_10k_rows.csv', usecols=['id_str'], engine='pyarrow')\"`")
print("3. 如果不报错，则可以尝试获取文件的下一部分（例如第10001到20000行）：")
print("   `sed -n '10001,20000p' your_huge_file.csv > next_10k_rows.csv`")
print("4. 尝试读取 `next_10k_rows.csv`。")
print("通过这种方式逐步缩小范围，最终定位问题行。")
print("\n对于Windows用户，可以使用PowerShell的 `Get-Content -Head` 和 `Get-Content -Tail`，或第三方文本工具。")