Pandas to_csv()写入大数据帧速度慢，如何高效解决？-Python教程-PHP中文网

Pandas to_csv()写入大数据帧速度慢，如何高效解决？

聖光之護

发布： 2025-03-05 09:14:20

原创

216人浏览过

pandas to_csv()写入大数据帧速度慢，如何高效解决？

Pandas处理大规模CSV文件写入速度优化

在使用Pandas处理海量数据时，to_csv()函数的写入速度常常成为瓶颈。本文以一个处理约2000万条记录的案例为例，分析to_csv()写入速度慢的原因，并提供高效的解决方案。

问题：

代码使用glob模块读取多个压缩的CSV文件，用pd.concat合并成一个大型数据帧stage，再使用to_csv()写入CSV文件。读取数据耗时2分钟，而写入却耗时55分钟。代码片段如下：

import os
import glob
import pandas as pd

src_files = glob.glob(os.path.join('/my/path', "*.csv.gz"))

stage = pd.DataFrame()  # 初始化DataFrame，避免重复append
for file_ in sorted(src_files):
    iter_csv = pd.read_csv(file_, sep=',', index_col=False, header=0, 
                           low_memory=False, iterator=True, chunksize=100000, 
                           compression='gzip', memory_map=True, encoding='utf-8')
    for chunk in iter_csv:
        stage = pd.concat([stage, chunk], ignore_index=True)

stage.to_csv('output.csv', sep='|', header=True, index=False, 
             chunksize=100000, encoding='utf-8')

del stage

登录后复制

即使使用了chunksize参数分块写入，效率仍然低下。这是因为to_csv()函数处理大型CSV文件时效率较低。

解决方案：

推荐使用Pandas的to_hdf()函数将数据保存为HDF5格式。HDF5是一种高性能数据存储格式，能显著提升写入速度。

以下是使用to_hdf()函数的代码示例：

stage.to_hdf(r'path/file.h5', key='stage', mode='w')

登录后复制

将数据保存为HDF5格式能大幅缩短写入时间。在某些情况下，写入100MB数据，to_hdf()函数的执行时间可从to_csv()的30-55秒缩短到不到一秒，显著提升大规模数据处理效率。此外，代码中初始化一个空的DataFrame stage = pd.DataFrame()，并在循环中使用pd.concat进行高效的增量合并，避免了重复创建DataFrame带来的性能损耗。

以上就是Pandas to_csv()写入大数据帧速度慢，如何高效解决？的详细内容，更多请关注php中文网其它相关文章！