本篇文章给大家带来了关于php的相关知识，其中主要跟大家介绍怎么做到一分钟多进程百万数据导出到csv并上传到oss，感兴趣的朋友下面一起来看一下吧，希望对大家有帮助。
需求
- 产品要导出某个团队某些用户的步行日志到csv文件里，并且要在一个文件内，而且速度要快不能太耗时间。
问题
- 日志往往意味着数据量大。
- 要导在一个文件内，数据量虽然大也能解决，无非就是分页查询并写入csv。
- 速度快时间短，也能解决无非就是多进程导出多个文件，没有什么难的，但是需求是一个文件！
解决思路
- 先查询出要导出的数据总量
- 投入到批次队列里面启动多个消费者查询并写入到多个csv里面。
- 投递队列时记录每个队列写入的csv具体路径和文件名称。
- 利用批次队列的特性在执行完毕时，把上一步记录的多个csv按照顺序合并到一个csv里面
- 合并完成之后，删除合并前的多个csv,保留合并的csv并上传到oss
结果
经过测试50多万数据，批次队列里面每个队列分配5万条数据去处理，走完一个流程耗时不到一分钟，这种方式有多快取决于服务器能启动多少个消费者多少个进程，我测试时用的是自动策略，最高是同时8个消费者在执行。
芝麻乐开源众筹cms系统
下载
芝麻乐开源众筹系统采用php+mysql开发，基于MVC开发，适用于各类互联网金融公司使用，程序具备模板分离技术，您可以根据您的需要进行应用扩展来达到更加强大功能。前端使用pintuer、jquery、layer等....系统易于使用和扩展简单的安装和升级向导多重业务逻辑判断，预防出现bug后台图表数据方式，一目了然后台包含但不限于以下功能：用户认证角色管理节点管理管理员管理上传配置支付配置短信平
推荐学习：《laravel视频教程》
