微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 后端开发 > php教程 > 正文

去重复

php中文网
发布： 2016-06-23 14:18:05
原创
1087人浏览过

有一文件里有十几万行数据。。。如何去重复。。。大小写一样的只能算一个。。


回复讨论(解决方案)

行的概念是？
如果100字符/行，20万行也就20～60M而已

file 读进来
array_unique 
然后写回去

如果觉得空间不够
就逐行读取求MD5并保存（如果平均行长小于32，占的内存还多些）
同时写入文件
遇到某行的MD5已存在了，这行就不写了

文件结构怎么样？贴一段出来，估计斑竹可以帮你解决。

感觉这玩意不用php，用linux的shell工具会更快

例如

cat file | sort -u  > file

如果你还要考虑大小写的问题的话，直接在上面的命令加 -f 既忽略大小写

cat file | sort -u -f > file

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：为什么PHP站内搜索只能搜索英文和字母，不能搜索中文？ 下一篇：请教高人：两个php平台之间的数据导入导出
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
php中的rgb怎么用_PHP中RGB颜色值使用与实现方法教程 DefineRGBvaluesusingvariableslike$red=255,$green=0,$blue=0fordirectmanipulationinimagefunctions.2.StoreRGBcomponentsinanassociativearraysuchas$color=[‘red’=>255,‘green’=>165,‘blue’=>0]forbetterreadabilityandreusability.3.ConvertRGBtohexadecimalformat
2025-11-12 10:05:02
1000
PHP中高效校验多个整数类型：利用类型声明提升代码质量 在PHP中，当需要校验多个函数参数是否为整数时，重复使用is_int()函数效率低下且代码冗余。本文将介绍如何利用PHP的类型声明（TypeHinting）功能，以简洁、高效且健壮的方式自动强制函数参数为整数类型，从而避免手动校验，并显著提升代码的可读性和维护性。
2025-11-12 10:02:07
784
PHP如何使用for循环语句_PHP中for循环的语法结构与实践 使用for循环可高效重复执行代码，其语法为for(expr1;expr2;expr3){循环体}，其中expr1初始化计数器，expr2判断循环条件，expr3更新计数器；例如输出1到5的数字序列：for($i=1;$i
2025-11-12 09:51:03
169
如何安装php支付安全工具_支付数据加密与安全认证配置方法 安装PHP支付安全工具需选用OpenSSL或defuse/php-encryption等可靠库，通过Composer安装后，使用AES或RSA加密敏感数据，结合支付平台SDK实现签名与验签，配置HTTPS、私钥隔离存放、定期轮换密钥并记录日志，确保支付通信安全与请求真实性。
2025-11-12 09:43:03
491
多值数据存储与管理：数组的应用实践 在编程中，一个标量变量一次只能存储一个值。当需要将多个不同值关联到同一个概念性标识符时，直接重复赋值会导致旧值被覆盖。本教程将深入探讨如何通过使用数组这一核心数据结构，有效地存储、管理并访问多个独立但相关的数值，从而解决单变量多值存储的挑战。
2025-11-12 08:52:22
209
怎么在PHP代码中处理高并发访问问题_PHP高并发访问处理与性能优化教程 答案：为应对高并发，需采用缓存、读写分离、OPcache、消息队列和PHP-FPM优化。首先引入Redis减少数据库查询；其次通过主从复制实现读写分离；启用OPcache提升脚本执行效率；使用RabbitMQ异步处理耗时任务；最后优化PHP-FPM进程配置以提高请求处理能力。
2025-11-12 08:43:02
545
如何将WordPress REST API回调逻辑拆分到独立函数并正确返回响应 在WordPress自定义RESTAPI开发中，当需要将复杂的callback逻辑拆分到多个辅助函数时，核心挑战在于如何确保辅助函数生成的响应能够被主callback正确捕获并返回。本文将详细讲解通过在主callback中显式地return辅助函数的调用结果，以及避免不必要的die()，来构建清晰且功能完善的API端点。
2025-11-12 08:41:01
358
PHP动态日期下拉菜单生成指南：从DateTime到DatePeriod 本教程详细介绍了如何使用PHP的DateTime、DateInterval和DatePeriod类动态生成包含指定月份和年份范围的下拉菜单。通过结构化的代码示例，我们将展示如何从起始日期到结束日期逐月迭代，并以自定义格式输出下拉选项，从而实现灵活且可维护的日期选择功能。
2025-11-12 08:17:01
247
如何下载php重构文件_获取php代码重构相关文件的方法 使用Composer安装PHPStan、PHPCSFixer和Rector等工具可实现代码重构，通过GitHub获取开源示例学习重构实践，结合PhpStorm等IDE的内置功能进行重命名、提取方法等操作，并参考PHPTheRightWay、Refactoring.com和Packagist等平台的文档与资源，系统提升代码质量。
2025-11-12 08:15:02
967
php代码运行速度慢怎么办_php代码运行速度优化与性能提升详细方法 优化PHP性能需从代码、数据库、缓存、服务器等多方面入手。1.改进代码逻辑：避免循环中重复操作，优先使用内置函数，减少递归，及时释放内存。2.优化数据库：为关键字段加索引，合并查询，只选所需字段，使用预处理和持久连接。3.启用OPcache：缓存编译后的opcode，显著提升执行效率。4.使用Redis/Memcached：缓存热点数据和计算结果，降低数据库压力。5.调优服务器：升级PHP版本，合理配置PHP-FPM，启用Gzip，结合CDN分离静态资源。6.借助XHProf等工具定位瓶颈，先测
2025-11-12 08:13:17
204
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部