文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
python - pyspider爬取了接近1G的数据，无法导出csv？
大家讲道理
大家讲道理 2017-04-18 10:31:22
[Python讨论组]
0 4 738
举报

已经增加虚拟机内存至2g，依然无法导出。

大家讲道理
大家讲道理

光阴似箭催人老，日月如移越少年。

全部回复(4)
伊谢尔伦
伊谢尔伦2017-04-18 10:33:22 4楼

一般是分文件导出的，如果一个单位的数据大约是1M的话，就分成1024个文件。

另外，合成1G的csv也是不合实际的，因为1G的csv几乎是打不开的。如果实在是要合成1G的话，把导出的一千多个文件再合成为一份CSV即可，文件合成python很容易实现。

赞 +0
添加回复
黄舟
黄舟2017-04-18 10:33:22 3楼

1G的数据月CSV处理本身就不太合理了。试试看sqlite3。

赞 +0
添加回复
阿神
阿神2017-04-18 10:33:22 2楼

8G一样不够，建议选择数据库作为存储方案，1G规模的CSV是没有存在的意义的。

赞 +0
添加回复
PHP中文网
PHP中文网2017-04-18 10:33:22 1楼

用ftp内网下载飞快.我前两天传8个g.感觉就是几分钟就下载好了

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部