文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 后端开发 > php教程 > 正文

PHP按行读取、处理较大CSV文件的代码实例_php实例

php中文网
发布： 2016-05-17 08:46:10
原创
1364人浏览过

对于数百万条数据量的CSV文件，文件大小可能达到数百M，如果简单读取的话很可能出现超时或者卡死的现象。

为了成功将CSV文件里的数据导入数据库，分批处理是非常必要的。

下面这个函数是读取CSV文件中指定的某几行数据：

复制代码 代码如下:

/**
 * csv_get_lines 读取CSV文件中的某几行数据
 * @param $csvfile csv文件路径
 * @param $lines 读取行数
 * @param $offset 起始行数
 * @return array
 * */
function csv_get_lines($csvfile, $lines, $offset = 0) {
    if(!$fp = fopen($csvfile, 'r')) {
     return false;
    }
    $i = $j = 0;
 while (false !== ($line = fgets($fp))) {
  if($i++    continue;
  }
  break;
 }
 $data = array();
 while(($j++   $data[] = fgetcsv($fp);
 }
 fclose($fp);
    return $data;
}

调用方法：
复制代码 代码如下:

$data = csv_get_lines('path/bigfile.csv', 10, 2000000);
print_r($data);

函数主要采用行定位的思路，通过跳过起始行数来实现文件指针定位。

上述函数对500M以内的文件进行过测试，运行通畅，对于更大的文件未做测试，请斟酌使用或加以改进。

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：PHP图片等比缩放类SimpleImage使用方法和使用实例分享_php实例 下一篇：php实现数组筛选奇数和偶数示例_php实例
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
PHP怎样处理WebAssembly PHP与WebAssembly交互的完整指南 PHP不能直接执行WebAssembly，需通过扩展或工具调用。1.使用wasm扩展（PECL）是最直接方式，但需手动编译安装；2.通过命令行工具如wasmtime或wasmer调用，利用shell_exec传递数据，无需扩展但性能受限；3.利用WebAssembly虚拟机服务器，PHP通过HTTP请求通信，解耦执行但增加系统复杂性。应用场景包括计算密集型任务、特定功能调用及客户端服务端共享代码。数据传递方面，wasm扩展支持基本类型，复杂结构需序列化；命令行和服务器方式通常使用JSON传输。模
2025-06-19 08:12:07
877
PHP怎样处理SMTP邮件发送 PHP邮件发送的5个常见问题解决 PHP处理SMTP邮件发送推荐使用PHPMailer类库，其步骤包括引入PHPMailer、配置SMTP服务器参数、设置发件人与收件人、定义邮件内容并发送。为避免邮件进入垃圾箱，需配置SPF、DKIM、DMARC记录，避免共享IP被列入黑名单，并优化邮件内容。解决连接超时问题需检查SMTP地址与端口、防火墙设置、增加超时时间及验证网络连接。查看错误信息可通过启用调试模式与捕获异常获取详细信息。确保HTML邮件兼容性应使用内联CSS、简单结构、表格布局并进行多客户端测试。防止邮件被滥用需验证用户身
2025-06-18 23:54:02
203
PHP性能分析：XHProf使用教程 XHProf输出目录设置需考虑安全性、权限、磁盘空间和持久性，通常推荐使用/tmp/xhprof作为临时起点，但应定期清理；若需长期存储，可选/var/xhprof。1.不要将输出目录置于Web可访问路径下以保证安全；2.确保PHP进程有写入权限；3.选择有足够空间的目录，防止磁盘占满；4.根据需求决定是否使用临时或持久存储路径。
2025-06-18 23:30:02
554
PHP如何调用外部程序 PHP调用外部程序的安全规范 PHP调用外部程序存在安全风险，必须采取防护措施。1.使用escapeshellarg()和escapeshellcmd()转义参数与命令；2.建立白名单限制可执行命令；3.遵循最小权限原则运行PHP进程；4.禁用不必要的执行函数；5.使用proc_open()控制进程环境；6.过滤转义输出内容；7.记录日志并限制输出大小。正确做法是绝不直接拼接用户输入，而是通过多重校验与转义确保执行安全。
2025-06-18 23:09:02
974
PHP如何调用Rust程序 PHP与Rust程序交互方法详解 PHP调用Rust程序的核心方法包括：1.使用exec()、shell_exec()等执行外部命令，适合简单任务，需注意安全转义；2.通过FFI调用动态库，性能高但需手动管理内存；3.利用消息队列实现异步解耦；4.使用gRPC构建微服务。数据传递可通过JSON等序列化方式或标准输入输出完成，错误处理则依赖返回值和标准错误输出，确保程序健壮性与安全性。
2025-06-18 22:12:02
897
PHP如何实现数据库读写分离 数据库读写分离配置方法详解 PHP实现数据库读写分离的核心在于将写操作（INSERT、UPDATE、DELETE）指向主库，读操作（SELECT）指向从库，以降低主库压力并提升性能。1.首先配置主从复制的数据库环境；2.在PHP中设置多个数据库连接，分别指向主库和一个或多个从库；3.实现路由策略，根据SQL语句类型选择对应连接，读操作随机选取从库，写操作使用主库；4.加入错误处理机制，如从库连接失败时降级到主库；5.监控主从同步延迟，并根据业务需求采用强制读主、版本号控制等策略应对数据不一致问题；6.可借助中间件如MaxS
2025-06-18 20:42:02
397
PHP怎样处理SAML属性查询 SAML属性查询技巧分享 PHP处理SAML属性查询需先接收、解析并验证SAML请求，随后查询用户属性并构建响应。1.接收SAML请求；2.使用安全的XML解析器（如DOMDocument）解析XML；3.严格验证签名及证书链；4.检查时间戳防止重放攻击；5.查询所需用户属性；6.构建SAML响应并安全发送。安全方面需防范XML注入、签名伪造及重放攻击，应使用HTTPS、最小权限、输入过滤，并推荐使用LightSAML等成熟库。性能优化可采用缓存（如Redis）、数据库索引、并发处理、压缩传输及高效XML解析器。集成多种
2025-06-18 20:30:02
563
PHP怎样解析WebP图片 解析WebP格式的5个实用方法 PHP解析WebP图片的解决方案主要有以下几种：1.使用GD库扩展并启用WebP支持，通过imagecreatefromwebp()等函数进行处理；2.使用Imagick扩展，提供更丰富的图像处理功能；3.调用cwebp命令行工具实现格式转换；4.利用第三方PHP库如WebPConvert简化操作；5.直接输出WebP图片并结合浏览器兼容性处理。要确认服务器是否支持WebP，可通过phpinfo()查看GD或Imagick是否包含WebP信息，若不支持则需重新编译GD库或安装Imagick扩展。
2025-06-18 19:45:02
936
PHP怎么实现数据自动转换 数据格式自动转换技巧分享 PHP实现数据自动转换需理解类型系统并使用合适函数避免隐式转换风险，1.使用intval()、floatval()等函数显式转换；2.利用json_encode()与json_decode()处理复杂结构；3.通过(object)强制转换或循环赋值将数组转为对象；4.数据库读取时结合CAST()或PHP函数转换类型；5.日期转换使用DateTime类处理格式与时区；6.JSON数据通过解码后按需转换数字、布尔及日期类型。
2025-06-18 19:39:01
335
PHP怎样处理LDAPS安全连接 配置LDAPS的3个关键要点 PHP处理LDAPS连接失败的常见原因包括LDAP扩展未启用、SSL/TLS证书配置错误、防火墙限制及LDAP服务器设置问题。解决方法为：1.检查LDAP扩展是否安装并启用；2.配置SSL/TLS证书信任链，必要时添加CA证书或设置客户端证书；3.确保防火墙允许636端口出站连接；4.验证LDAP服务器是否接受LDAPS并放行客户端IP。此外，可通过openssls_client命令测试SSL连接，使用ldap_error()获取详细错误信息，并通过修改php.ini开启错误日志辅助排查。安全方
2025-06-18 19:30:02
621
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部