python中如何高效的追加文件-PHP中文网问答

文章专题 AI工具学习下载问答源码最近更新

PHP

会员中心讲师中心微信公众号

python中如何高效的追加文件

ringa_lee 2017-04-17 15:49:27

[Python讨论组]

287

我想生成这样的数据，并写入到文件中
00000000
00000001
00000002
00000003
00000004
.....
99999999
共1亿条

下面是我的代码：

#!/usr/bin/python

import itertools

def gener_8_num():
    return itertools.product('0123456789', '0123456789', '0123456789', '0123456789','0123456789', '0123456789', '0123456789', '0123456789') 

cnt = 0
for x in gener_8_num():
    cnt += 1

    if cnt % 10000 == 0:
        print cnt

    file("8_num","a").write("".join(x) + "\n")

如果把file("8_num","a").write("".join(x) + "\n")去掉，大概需要15s
但是加上需要877多秒

生成的文件800多M

想请问下如何提高生成这个文件的速度呢？

ringa_lee

全部回复(1)

伊谢尔伦2017-04-17 15:51:27 1楼

数组合并多此一举，充分利用缓存就行了（例子中为约5M）
时间应该一分钟左右就够了（SSD硬盘）

#!/usr/bin/env python

target = file("/tmp/test", "a", 5120000)
limit = 100000000

def generate_numbers():
    i = 0
    while (i < limit):
        yield "%08d\n" % i
        i = i + 1

for product in generate_numbers():
    target.write(product)