讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 后端开发 > php教程 > 正文

php 将15W的数据写入文件

php中文网
发布： 2016-06-06 20:35:24
原创
1424人浏览过

程序的逻辑
1,通过ftp下载300MB左右的文件 数据大概是15W条左右
2,过滤字段,重新写入数据库中
①,先将数据写到文件中
②,mysql使用load_data_infile 来插入数据

现在写入文件的程序逻辑:

读取一行数据
php 将15W的数据写入文件
然后过滤字段,加入数组 到了1000条写入数据库

php 将15W的数据写入文件

写入数据有点慢....有什么能加快速度吗
补充下:整条数据有234个字段

回复内容：

程序的逻辑
1,通过ftp下载300MB左右的文件 数据大概是15W条左右
2,过滤字段,重新写入数据库中
①,先将数据写到文件中
②,mysql使用load_data_infile 来插入数据

现在写入文件的程序逻辑:

读取一行数据
php 将15W的数据写入文件
然后过滤字段,加入数组 到了1000条写入数据库

php 将15W的数据写入文件

写入数据有点慢....有什么能加快速度吗
补充下:整条数据有234个字段

量也不大，写文件的部分没有代码，看不出来什么问题，猜一下吧: 把 fopen 拿到循环外。

立即学习“PHP免费学习笔记（深入）”；

写数据库的话，插入的时候用事务。

MMM金融互助系统源码
MMM金融互助系统源码

MMM金融互助系统源码是以thinkphp为核心进行开发的3m金融互助平台。程序安装说明：1.恢复数据：将“数据备份”文件夹中的 urkeji.sql 文件请采用phpMyAdmin进行导入； 2.配置Sql数据库信息，文件路径：根目录下 config.php3.后台管理地址：http://域名/admin.php 用户名：100000 密码：admin1

MMM金融互助系统源码 0
查看详情 MMM金融互助系统源码

插入的时候使用存储过程。

把文件拆分成N个小的文件，开N个php进程跑，不就快了？或者直接上java之类的支持多线程的程序跑。

为啥要在循环里面iconv一下？直接放到外面的转编码不行吗

话说，15W条数据，你组合成sql， 1W条一次的写入，写就几秒钟的时间，何必纠结搞什么文件再load_data_infile 呢？

按行操作实在太小气了，如果文件大小有上限的话，干脆用file_get_contents 和 file_put_contents来读写，效率会高很多。

相关标签：
php

大家都在看：

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：ueditor怎样提取<p>标签的字符串？或者用php来提取字符串 下一篇：http请求在何种情况下会返回409
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
php怎么将数组转换成字符串_php数组转字符串implode与json_encode法【技巧】 PHP数组转字符串有五种方法：一、implode()用于一维索引数组，按分隔符连接值；二、json_encode()生成标准JSON字符串，保留结构与键名；三、serialize()生成PHP特有序列化字符串，支持所有类型；四、array_map配合implode实现格式化拼接；五、foreach循环手动拼接，灵活性最高。
2025-12-19 14:59:32
680
PHP日志系统实现教学_PHP记录系统日志方法 PHP记录系统日志最常用、最稳妥的方式是使用error_log()函数或基于Psr\Log标准的Monolog等第三方库；前者适合调试和轻量项目，后者支持分级、多通道、轮转等专业功能，且需遵循时间戳、请求ID、脱敏等规范。
2025-12-19 14:18:21
866
iis怎么支持php_IIS服务器配置支持php环境【支持】 IIS部署PHP需配置FastCGI与处理程序映射、正确设置php.ini、调整应用池为Classic模式并验证phpinfo。若页面无法解析或下载PHP文件，通常因模块未加载或映射错误。
2025-12-19 14:03:41
548
php关联数组怎么增加头部一项_php关联数组头部增项array_merge前插法【技巧】 可在PHP关联数组开头插入键值对的方法有三种：一、用array_merge($prepend,$arr)组合单元素数组；二、用$head+$arr运算符合并；三、用array_unshift配合array_keys、array_values和array_combine重建。
2025-12-19 13:23:02
292
php之Symfony框架是什么 Symfony是一个用PHP编写的成熟稳定开源Web框架，核心目标是高效构建可维护、可扩展、符合现代工程规范的Web应用和API；它采用高度模块化设计，组件松耦合且可单独使用；强调约定优于配置但保持高度灵活性；面向中大型项目与团队协作，原生支持依赖注入、安全、i18n等企业级特性；学习曲线较陡但工程化程度高、长期维护性强。
2025-12-19 12:39:14
216
PHP基础语法快速入门_PHP新手必须掌握的核心知识 PHP基础语法核心是变量、数据类型、运算符、流程控制和函数；变量以$开头，支持字符串、整型等七种类型，数组最常用；需区分=赋值、==宽松比较、===严格比较；if和foreach是主要流程控制结构；函数用function定义，推荐传参而非global访问外部变量。
2025-12-19 12:17:55
830
php后缀怎么打开_打开与编辑php后缀文件方法【打开】 PHP文件需通过文本编辑器查看源码、本地服务器运行、命令行执行、IDE内置服务器调试或在线工具验证。具体方法包括：用VSCode等编辑器打开；用XAMPP等环境部署到htdocs并访问localhost；终端执行phpscript.php；VSCode安装PHPServer插件后右键启动；或在onlinephp.io等平台粘贴代码运行。
2025-12-19 12:00:10
215
php遍历数组显示到html_php数组HTML输出技巧指南【解析】 PHP数组动态展示HTML有五种方式：一、foreach+echo；二、拼接HTML字符串后输出；三、implode+array_map生成列表；四、JSON传JS渲染；五、模板引擎如Twig。
2025-12-19 10:31:26
575
php把数组转化为对象_php数组转对象类型转换技巧【教程】 PHP中数组转对象有五种方式：一、强制转换为stdClass；二、递归转换处理嵌套；三、JSON编码解码法；四、自定义类构造；五、ArrayObject包装，各适用于不同场景。
2025-12-19 10:27:08
918
php数组查看维度方法_php判断数组几维技巧详解【解析】 可通过递归函数、serialize()统计、print_r()观察、RecursiveArrayIterator迭代器及键值类型推断五种方法识别PHP数组维度：递归法最准确，serialize法粗略估算，print_r法适合人工调试，迭代器法适合集成开发，键值推断法适用于已知模式场景。
2025-12-19 09:58:02
913
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部