文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
总结
豆包 AI 助手文章总结
下载豆包电脑版，提高工作效率
首页 > 后端开发 > php教程 > 正文

一分钟多进程百万数据导出到csv并上传到oss

藏色散人
发布： 2023-04-20 15:30:51
转载
1730人浏览过

本篇文章给大家带来了关于php的相关知识，其中主要跟大家介绍怎么做到一分钟多进程百万数据导出到csv并上传到oss，感兴趣的朋友下面一起来看一下吧，希望对大家有帮助。

需求

  1. 产品要导出某个团队某些用户的步行日志到csv文件里，并且要在一个文件内，而且速度要快不能太耗时间。

问题

  1. 日志往往意味着数据量大。
  2. 要导在一个文件内，数据量虽然大也能解决，无非就是分页查询并写入csv。
  3. 速度快时间短，也能解决无非就是多进程导出多个文件，没有什么难的，但是需求是一个文件！

解决思路

  1. 先查询出要导出的数据总量
  2. 投入到批次队列里面启动多个消费者查询并写入到多个csv里面。
  3. 投递队列时记录每个队列写入的csv具体路径和文件名称。
  4. 利用批次队列的特性在执行完毕时，把上一步记录的多个csv按照顺序合并到一个csv里面
  5. 合并完成之后，删除合并前的多个csv,保留合并的csv并上传到oss

结果

经过测试50多万数据，批次队列里面每个队列分配5万条数据去处理，走完一个流程耗时不到一分钟，这种方式有多快取决于服务器能启动多少个消费者多少个进程，我测试时用的是自动策略，最高是同时8个消费者在执行。

4d1faaacf31f732ea38b25fedd0feb3.png

推荐学习：《laravel视频教程》

以上就是一分钟多进程百万数据导出到csv并上传到oss的详细内容，更多请关注php中文网其它相关文章！

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
相关标签：
php laravel
来源：learnku网
收藏 点赞
上一篇：解析​PHP获取标题的拼音首字母（附代码示例） 下一篇：详解Linux中怎么查找PHP的安装包位置
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
PHP中的OAuth2.0：如何集成第三方登录功能 OAuth2.0是一种授权协议，允许用户授权应用访问其在其他服务上的资源而无需暴露账号密码。要在PHP项目中集成第三方登录（如微信、QQ或GitHub），需先注册开发者账号并获取ClientID、ClientSecret和RedirectURI。基本流程包括：1）用户跳转至第三方授权页面；2）用户授权后重定向回网站；3）服务器用授权码换取accesstoken；4）通过token获取用户信息完成登录。可使用League\OAuth2\Client等库简化开发，并注意防范CSRF攻击、确保HTTP
2025-06-07 23:57:01
524
PHP中的代码规范：如何在PHP中遵循PSR标准编写代码 PSR标准通过统一代码规范提升PHP代码可读性与团队协作效率。具体包括：1.文件结构与命名方面，采用PSR-4自动加载机制，确保类名与文件路径一一对应，并使用命名空间组织代码结构；2.代码格式化方面，依据PSR-12规范，统一缩进、括号、空格等风格，如函数声明大括号换行、控制结构前后加空格、使用4个空格缩进等；3.命名与注释方面，推荐使用清晰的英文命名，避免模糊表达，同时为类、方法、常量添加DocBlock注释，并保持简洁明了。借助工具如PHP-CS-Fixer或PHP_CodeSniffer可
2025-06-07 23:24:01
576
PHP中的路由系统：如何在PHP中实现URL路由功能 URL路由是将URL路径映射到具体处理程序的技术。其核心作用是根据用户访问的URL，将请求分发到对应的控制器或处理函数，从而展示相应内容。手动实现基础路由可通过获取请求路径、定义路由规则、匹配路径并调用对应处理文件完成。支持动态路由与参数捕获需使用正则表达式匹配路径并提取参数，例如通过preg_match和参数替换解析/user/123或/post/2025/04/05等格式。对于复杂项目推荐使用框架如Laravel、Symfony等，它们提供HTTP方法支持、中间件、自动参数绑定等高级功能，简
2025-06-07 23:15:01
709
PHP中的异常监控：如何实时捕获生产环境错误 使用try-catch捕获异常，防止程序崩溃并记录错误信息，但无法处理语法或致命错误；2.设置全局异常与错误处理器，通过set_exception_handler和set_error_handler配合register_shutdown_function，确保各类错误均可被捕获；3.结合日志系统和监控工具如Sentry、ELKStack等，实现错误集中化、可视化管理；4.建立定期检查与告警机制，通过邮件、钉钉通知及Prometheus+Grafana监控指标变化，主动发现高频错误并优先修复。以上
2025-06-07 22:54:01
228
PHP中的自动加载：如何利用PSR-4标准实现类自动加载 PSR-4是PHPFIG提出的自动加载标准，通过命名空间与目录结构的映射实现类文件的自动加载。它定义了类名如何对应到文件路径，例如App\Controller\HomeController对应src/Controller/HomeController.php。配置PSR-4通常使用Composer，在composer.json中添加autoload配置项，如{"autoload":{"psr-4":{"App\\":"src/"}}}，然后执行composerdump-autoload生成自动加
2025-06-07 22:45:01
613
PHP中的PDO扩展：如何安全地使用PDO操作数据库 使用PDO安全操作数据库需遵循四个步骤：一、连接数据库时关闭错误提示，使用环境变量存储敏感信息，并设置字符集为utf8mb4；二、通过预处理语句防止SQL注入，使用绑定参数而非拼接字符串；三、合理处理查询结果并使用事务确保数据一致性，异常时回滚事务；四、避免拼接SQL、验证动态表名字段名合法性，统一错误处理方式。正确应用这些方法能有效提升数据库操作的安全性和稳定性。
2025-06-07 21:48:02
162
PHP中的天气接口：如何调用天气API显示数据 要实现PHP调用天气API，关键在于选择合适接口、正确发起请求并处理返回数据。1.首先选择如和风天气、心知天气或OpenWeatherMap等提供JSON格式返回的API，并获取APIKey；2.使用file_get_contents()或cURL发起HTTP请求，注意确保服务器配置允许或合理设置超时等参数；3.对返回数据进行解析，使用json_decode()转换为数组后提取所需信息，同时加入错误判断逻辑以应对API异常；4.展示天气信息时除温度外还可利用湿度、风速、天气图标等字段提升用户体验
2025-06-07 21:27:01
345
PHP中的类型声明：如何在PHP中使用严格类型检查 PHP7.0引入类型声明并支持严格模式，提升代码健壮性。1.启用方式是在文件顶部添加declare(strict_types=1);且必须为第一行；2.类型声明支持int、float、string、bool等基本类型，array、callable等复合类型，以及类、接口、联合类型（PHP8.0+）、可空类型（?type）等；3.可对函数参数和返回值进行类型约束，传参或返回类型不匹配会抛出TypeError；4.返回值类型声明可确保函数返回预期结构，支持使用?Type表示可能返回null；5.严格
2025-06-07 20:45:01
954
PHP中有哪些位运算符？ PHP中的位运算符包括：1.与运算符&，2.或运算符|，3.异或运算符^，4.左移运算符，6.取反运算符~，7.与非运算符&~。这些运算符在权限管理、数据压缩和加密算法中应用广泛，但需注意易读性和溢出问题。
2025-06-07 19:30:02
501
PHP中的CSRF防御：如何防止跨站请求伪造攻击 CSRF（跨站请求伪造）是一种攻击方式，攻击者通过诱导用户访问恶意网站，利用浏览器自动携带认证凭据发起非用户本意的请求。防御CSRF的核心在于验证请求来源合法性并确认用户主动操作。PHP中防御CSRF的方法主要有：1.使用CSRFToken，在服务端生成随机token并存储于session，嵌入表单隐藏字段，提交时校验一致性；2.验证HTTPReferer头，判断请求是否来自可信来源，但不能单独使用；3.使用SameSiteCookie属性，限制跨站请求携带Cookie，如设置session.c
2025-06-07 18:24:02
362
相关专题
更多>
豆包 AI 助手文章总结
下载豆包电脑版，提高工作效率
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部