Python如何读取CSV文件？数据处理必备技能

絕刀狂花

发布时间：2025-08-04 14:52:01

909人浏览过

来源于php中文网

原创

1.使用csv模块读取csv文件，通过csv.reader()处理逗号分隔，注意异常处理和编码设置。2.处理大型csv文件应使用pandas的chunksize参数分块读取，降低内存占用。3.解决编码问题可尝试不同encoding参数或用chardet库自动检测编码。4.跳过错误行可在读取时用try-except捕获异常或检查行长度。5.转换csv数据为字典格式使用csv.dictreader，方便通过字段名访问数据。

Python如何读取CSV文件？数据处理必备技能

Python读取CSV文件，其实核心就是利用

csv

模块，简单易用，是数据分析的入门必备技能。

import csv

def read_csv_file(file_path):
    """
    读取CSV文件并返回数据列表。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，每一行是一个列表。
    """
    data = []
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            csv_reader = csv.reader(file)
            header = next(csv_reader) # 读取标题行
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
        return None
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_file(file_path)
    if csv_data:
        for row in csv_data:
            print(row)

这段代码的核心在于

csv.reader()

，它能帮你把CSV文件按行读取，并自动处理逗号分隔的问题。记得处理异常，比如文件不存在的情况。

encoding='utf-8'

也很重要，防止中文乱码。

如何处理大型CSV文件，避免内存溢出？

大型CSV文件一次性加载到内存可能会导致溢出。解决方法是使用

pandas

库的

chunksize

参数，分块读取文件。这样可以控制每次读取的数据量，有效降低内存占用。

立即学习“Python免费学习笔记（深入）”；

import pandas as pd

def read_large_csv(file_path, chunk_size=1000):
    """
    分块读取大型CSV文件。

    Args:
        file_path (str): CSV文件路径。
        chunk_size (int): 每个数据块的大小。

    Yields:
        DataFrame: CSV文件的一个数据块。
    """
    try:
        for chunk in pd.read_csv(file_path, chunksize=chunk_size):
            yield chunk
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
    except Exception as e:
        print(f"读取文件时发生错误：{e}")

# 示例用法
if __name__ == "__main__":
    file_path = 'large_example.csv' # 替换为你的大型CSV文件路径
    for chunk in read_large_csv(file_path, chunk_size=5000):
        # 在这里处理每个数据块
        print(chunk.head()) # 打印每个数据块的前几行

pd.read_csv(file_path, chunksize=chunk_size)

会返回一个迭代器，每次迭代返回一个DataFrame。你可以在循环中处理每个DataFrame，而不用一次性加载整个文件。

CSV文件常见的编码问题及解决方案？

CSV文件编码问题是新手常遇到的坑。常见的编码格式有UTF-8、GBK、Latin-1等。如果编码不匹配，读取时会出现乱码。

解决方案：

尝试不同的编码格式： 在
```
open()
```
函数中指定
```
encoding
```
参数，例如
```
encoding='gbk'
```
或
```
encoding='latin-1'
```
。
使用
chardet
库自动检测编码：
```
chardet
```
可以检测文件的编码格式，然后使用检测到的编码来读取文件。

import chardet

def detect_encoding(file_path):
    """
    检测文件的编码格式。

    Args:
        file_path (str): 文件路径。

    Returns:
        str: 文件的编码格式。
    """
    with open(file_path, 'rb') as file:
        raw_data = file.read()
        result = chardet.detect(raw_data)
        return result['encoding']

def read_csv_with_detected_encoding(file_path):
    """
    使用检测到的编码读取CSV文件。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，每一行是一个列表。
    """
    encoding = detect_encoding(file_path)
    if not encoding:
        print("无法检测到文件编码。")
        return None

    data = []
    try:
        with open(file_path, 'r', encoding=encoding) as file:
            csv_reader = csv.reader(file)
            header = next(csv_reader)
            for row in csv_reader:
                data.append(row)
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'encoded_example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_with_detected_encoding(file_path)
    if csv_data:
        for row in csv_data:
            print(row)

先用

chardet.detect()

检测编码，再用检测到的编码打开文件，可以有效解决编码问题。

chardet

需要单独安装：

pip install chardet

。

牛小影

牛小影 - 专业的AI视频画质增强器

下载

如何跳过CSV文件中的错误行或不规范数据？

有时候CSV文件里会有一些格式不规范的行，比如缺少字段、字段数量不对等等，直接读取会报错。

解决方案：

使用
try-except
捕获异常：在循环中读取每一行时，用
```
try-except
```
捕获可能出现的异常，跳过错误行。
使用
csv.reader
的
strict
模式：
```
strict=False
```
可以允许行长度不一致，但需要自己处理这些不规范的行。

import csv

def read_csv_skip_errors(file_path):
    """
    跳过错误行读取CSV文件。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，跳过错误行。
    """
    data = []
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            csv_reader = csv.reader(file, strict=False)
            header = next(csv_reader)
            for row in csv_reader:
                try:
                    # 尝试处理每一行，如果出现错误则跳过
                    if len(row) == len(header):  # 检查行长度是否正确
                        data.append(row)
                    else:
                        print(f"跳过不规范的行：{row}")
                except Exception as e:
                    print(f"处理行时发生错误：{e}")
                    continue
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
        return None
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'error_example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_skip_errors(file_path)
    if csv_data:
        for row in csv_data:
            print(row)

这段代码会在遇到行长度不一致的情况时，打印错误信息并跳过该行。可以根据实际情况调整错误处理逻辑。

如何将读取的CSV数据转换为字典格式？

有时候我们需要把CSV数据转换成字典格式，方便按字段名访问数据。

解决方案：

使用

csv.DictReader

。它会自动把CSV文件的第一行作为字典的键，后面的每一行作为字典的值。

import csv

def read_csv_to_dict(file_path):
    """
    读取CSV文件并转换为字典列表。

    Args:
        file_path (str): CSV文件路径。

    Returns:
        list: CSV文件中的数据，每个元素是一个字典。
    """
    data = []
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            csv_reader = csv.DictReader(file)
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"错误：文件 '{file_path}' 未找到。")
        return None
    except Exception as e:
        print(f"读取文件时发生错误：{e}")
        return None
    return data

# 示例用法
if __name__ == "__main__":
    file_path = 'example.csv' # 替换为你的CSV文件路径
    csv_data = read_csv_to_dict(file_path)
    if csv_data:
        for row in csv_data:
            print(row['name'], row['age']) # 假设CSV文件有'name'和'age'字段