优化Pandas大数据帧CSV写入速度
在处理大型Pandas DataFrame时，使用to_csv()函数写入CSV文件经常成为性能瓶颈。本文针对一个耗时近一小时的案例，分析问题并提供高效解决方案。
问题描述：
代码使用glob模块读取多个压缩的CSV文件（.csv.gz），并利用pd.read_csv以分块读取方式（chunksize=100000）加载数据到Pandas DataFrame。然而，将最终的DataFrame写入CSV文件（to_csv()）却花费了55分钟。数据量约2000万条记录，100列，主要为数值型数据。代码如下：
import os
import glob
import pandas as pd
src_files = glob.glob(os.path.join('/my/path', "*.csv.gz"))
df = pd.DataFrame() # 初始化一个空DataFrame
for file_ in sorted(src_files):
iter_csv = pd.read_csv(file_, sep=',', index_col=False, header=0,
low_memory=False, iterator=True, chunksize=100000,
compression='gzip', memory_map=True, encoding='utf-8')
df = pd.concat([chunk for chunk in iter_csv], ignore_index=True)
df.to_csv('output.csv', sep='|', header=True, index=False, chunksize=100000, encoding='utf-8')
del df即使使用了分块读取和写入（chunksize=100000），写入速度仍然很慢。
解决方案：
为了提高写入效率，建议使用更适合大规模数据存储的HDF5格式。Pandas的to_hdf()函数可以显著提升写入速度。以下代码展示了如何使用to_hdf()：
df.to_hdf(r'path/file.h5', key='df', mode='w')
to_hdf()方法能大幅缩短写入时间。某些情况下，写入100MB数据到HDF5文件只需不到一秒，而to_csv()可能需要30-55秒。因此，to_hdf()是处理大型Pandas DataFrame的更优选择，尤其在写入速度至关重要的场景下。 后续如需读取，可以使用pd.read_hdf()函数。
以上就是Pandas大数据帧写入CSV耗时过长如何高效解决？的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告![ThinkPHP5快速开发企业站点[全程实录]](https://img.php.cn/upload/course/000/000/068/6253d918a3ce7278.png)
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
806
