php
error_reporting(0);
@ini_set('memory_limit','-1');
set_time_limit(0);
echo" 去除文本重复工具"."\r\n\r\n";
echo"\n"."输入要整理的文件:"."\n";
$dic=trim(fgets(STDIN));
/*while (!feof($dic)){
$file[]=stream_get_line($fp,65535,"\r\n");
}
*/
$file=file($dic);
$array=preg_replace('/($\s*$)|(^\s*^)/m','',$file); //消除空行
$new_array=array_values(array_unique($array));//消除重复行
$new_filename="new_". basename($dic);
if(file_put_contents("$new_filename",join("\r\n",$new_array))){
$num=count($file);
$new_num=count($new_array);
$counts=$num-$new_num;
$files=dirname(__FILE__).DIRECTORY_SEPARATOR.$new_filename;
echo
+----------------------------------------------+
| [+] 去除重复完毕! www.2cto.com |
| [+] 整理后的文件为:$files |
| [+] 原始字典数量:$num 行 |
| [+] 整理后为:$new_num 行 |
| [+] 共替换了$counts 行 |
+----------------------------------------------+
INFO;
}
else{
echo"------------------------------------------"."\r\n";
echo"[*] 错误!"."\r\n\r\n";
echo"[*] 找不到文件!请检查输入路径是否存在!"."\r\n";
echo"------------------------------------------"."\r\n";
exit();
}
?>
0
0
php简单去除大型文本重复_PHP教程
php中文网
发布时间：2016-07-13 17:48:21
|1105人浏览过
|来源于php中文网
原创
相关文章
PHP本地环境怎样设置错误显示级别_PHP本地环境设错误级别规则【设置】
PHP 正则表达式中保留斜杠（/）的正确写法
怎样用phpinfo辅助调试_借phpinfo找环境问题窍门【助调】
PHP怎样设置非空约束_PHP设置非空规则【注意】
如何在PHP本地环境同步线上代码_PHP本地环境同线上代码技巧【同步】
相关标签:
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
本专题系统讲解 Golang 在 gRPC 服务开发中的完整实践，涵盖 Protobuf 定义与代码生成、gRPC 服务端与客户端实现、流式 RPC（Unary/Server/Client/Bidirectional）、错误处理、拦截器、中间件以及与 HTTP/REST 的对接方案。通过实际案例，帮助学习者掌握 使用 Go 构建高性能、强类型、可扩展的 RPC 服务体系，适用于微服务与内部系统通信场景。
8
2026.01.15
公务员递补名单公布时间不固定，通常在面试前，由招录单位（如国家知识产权局、海关等）发布，依据是原入围考生放弃资格，会按笔试成绩从高到低递补，递补考生需按公告要求限时确认并提交材料，及时参加面试/体检等后续环节。要求核心是按招录单位公告及时响应、提交材料（确认书、资格复审材料）并准时参加面试。
38
2026.01.15
(一)符合拟调剂职位所要求的资格条件。 (二)公共科目笔试成绩同时达到拟调剂职位和原报考职位的合格分数线，且考试类别相同。 拟调剂职位设置了专业科目笔试条件的，专业科目笔试成绩还须同时达到合格分数线，且考试类别相同。 (三)未进入原报考职位面试人员名单。
52
2026.01.15
笔试成绩查询入口已开通，考生可登录国家公务员局中央机关及其直属机构2026年度考试录用公务员专题网站http://bm.scs.gov.cn/pp/gkweb/core/web/ui/business/examResult/written_result.html，查询笔试成绩和合格分数线，点击“笔试成绩查询”按钮，凭借身份证及准考证进行查询。
9
2026.01.15
本专题系统讲解 Java 在桌面应用开发领域的实战应用，重点围绕 JavaFX 框架，涵盖界面布局、控件使用、事件处理、FXML、样式美化（CSS）、多线程与UI响应优化，以及桌面应用的打包与发布。通过完整示例项目，帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。
65
2026.01.14
热门下载
相关下载
精品课程
最新文章
