如何用Python读写CSV文件？-Python教程-PHP中文网

如何用Python读写CSV文件？

裘德小鎮的故事

发布： 2025-05-06 18:30:02

原创

678人浏览过

如何用python读写csv文件？

用Python读写CSV文件是一项常见的任务，特别是在处理数据分析、数据科学或任何需要批量处理数据的场景中。今天我们就来深入探讨一下如何优雅地使用Python来读写CSV文件，并且分享一些我在实际项目中踩过的坑以及一些优化的小技巧。

当我们谈到读写CSV文件时，Python提供了一个非常方便的内置模块——csv模块。这个模块不仅能让我们轻松地处理CSV文件，还能让我们避免一些常见的陷阱，比如处理不同编码的问题或处理带有特殊字符的数据。

让我们从一个简单的读写CSV文件的例子开始吧：

import csv

# 写入CSV文件
with open('output.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(['Name', 'Age'])
    writer.writerow(['Alice', 25])
    writer.writerow(['Bob', 30])

# 读取CSV文件
with open('output.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

登录后复制

这个代码片段展示了如何用csv模块写入和读取CSV文件。写入部分，我们创建了一个CSV文件并写入了一些示例数据。读取部分，我们遍历文件中的每一行并打印出来。

立即学习“Python免费学习笔记（深入）”；

不过，实际项目中我们常常会遇到一些挑战，比如CSV文件可能包含非ASCII字符，或者文件非常大，导致内存占用过高。以下是一些我在项目中积累的经验和技巧：

首先是处理编码问题。在处理不同来源的数据时，常常会遇到编码问题，比如CSV文件可能是UTF-8、GBK等编码格式。我们可以这样处理：

import csv

# 写入CSV文件，指定编码
with open('output.csv', 'w', encoding='utf-8', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(['名字', '年龄'])
    writer.writerow(['Alice', 25])
    writer.writerow(['Bob', 30])

# 读取CSV文件，指定编码
with open('output.csv', 'r', encoding='utf-8') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

登录后复制

这样设置编码，可以确保我们正确处理不同编码的文件，避免出现乱码问题。

接下来是处理大文件的问题。如果CSV文件非常大，我们不希望一次性将整个文件读入内存，可以使用csv.DictReader和csv.DictWriter来处理：

import csv

# 写入大文件
with open('large_output.csv', 'w', newline='') as file:
    fieldnames = ['Name', 'Age']
    writer = csv.DictWriter(file, fieldnames=fieldnames)
    writer.writeheader()
    for i in range(100000):  # 假设我们有10万行数据
        writer.writerow({'Name': f'Person{i}', 'Age': i % 100})

# 读取大文件
with open('large_output.csv', 'r') as file:
    reader = csv.DictReader(file)
    for row in reader:
        print(row['Name'], row['Age'])

登录后复制

使用DictReader和DictWriter可以让我们以字典的形式处理每一行数据，这样不仅可以节省内存，还能让代码更加清晰易懂。

关于性能优化，我在项目中发现，如果需要频繁读写CSV文件，可以考虑使用pandas库。pandas不仅提供了强大的数据处理能力，还能显著提升读写CSV文件的速度：

import pandas as pd

# 使用pandas写入CSV文件
data = {'Name': ['Alice', 'Bob'], 'Age': [25, 30]}
df = pd.DataFrame(data)
df.to_csv('output_pandas.csv', index=False)

# 使用pandas读取CSV文件
df_read = pd.read_csv('output_pandas.csv')
print(df_read)

登录后复制

使用pandas不仅可以简化代码，还能处理更复杂的数据操作，比如数据清洗、统计分析等。

在实际应用中，我也遇到了一些常见的问题，比如CSV文件中可能包含引号、逗号等特殊字符，这时需要特别处理：

import csv

# 写入包含特殊字符的数据
with open('special_output.csv', 'w', newline='') as file:
    writer = csv.writer(file, quoting=csv.QUOTE_ALL)
    writer.writerow(['Name', 'Description'])
    writer.writerow(['Alice', 'She said, "Hello, world!"'])
    writer.writerow(['Bob', 'He likes "Python"'])

# 读取包含特殊字符的数据
with open('special_output.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

登录后复制

使用csv.QUOTE_ALL参数可以确保所有字段都被引号包围，这样可以正确处理包含逗号和引号的字段。

总结一下，用Python读写CSV文件是一个非常灵活且强大的工具。通过csv模块，我们可以轻松处理各种CSV文件，但也要注意一些细节，比如编码问题、大文件处理、特殊字符处理等。同时，pandas库提供了一种更高效的解决方案，特别是在处理大规模数据时。希望这些经验和技巧能帮助你在实际项目中更加得心应手。

以上就是如何用Python读写CSV文件？的详细内容，更多请关注php中文网其它相关文章！