文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 后端开发 > php教程 > 正文

给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？

php中文网
发布： 2016-08-08 09:32:50
原创
1516人浏览过

可以估计每个文件的大小为5g*64=300g，远大于4g。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 
遍历文件a，对每个url求取hash(url)%1000，然后根据所得值将url分别存储到1000个小文件（设为a0,a1,...a999）当中。这样每个小文件的大小约为300m。遍历文件b，采取和a相同的方法将url分别存储到1000个小文件(b0,b1....b999)中。这样处理后，所有可能相同的url都在对应的小文件(a0 vs b0, a1 vs b1....a999 vs b999)当中，不对应的小文件（比如a0 vs b99）不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。 
比如对于a0 vs b0，我们可以遍历a0，将其中的url存储到hash_map当中。然后遍历b0，如果url在hash_map中，则说明此url在a和b中同时存在，保存到文件中即可。 
如果分成的小文件不均匀，导致有些小文件太大（比如大于2g），可以考虑将这些太大的小文件再按类似的方法分成小小文件即可

昨天百度面试官问道的 今天研究一下

以上就介绍了给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？，包括了方面的内容，希望对PHP教程有兴趣的朋友有所帮助。

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：[error]error while loading shared libraries: libpcre.so.1 解决 下一篇：linxu下安装nginx详细图解教程-附带安装包下载地址
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
PHP中的文件操作：如何使用PHP读写和操作文件系统 PHP中文件操作的关键点包括：1.使用fopen和fclose打开和关闭文件，支持多种模式如只读、写入、追加等；2.通过fgets逐行读取或file_get_contents一次性读取文件内容；3.利用fwrite或file_put_contents写入文件，注意追加与覆盖的区别；4.使用file_exists、is_readable、unlink、mkdir等辅助函数管理文件与目录。掌握这些核心函数及注意事项即可应对大多数文件操作场景。
2025-06-09 22:03:01
707
PHP中的命名空间：如何组织代码避免命名冲突 命名空间是PHP中用于组织代码、避免类名或函数名冲突的工具，通过给类、函数和常量添加“前缀”实现独立作用域。例如，Admin\User和Frontend\User可区分同名类；定义命名空间只需在文件顶部使用namespace关键字，如namespaceApp\Controller;；引用类可通过完整类名或use关键字；常见冲突包括多个库同名类、与内置类重名及全局函数冲突，可通过别名或命名空间包裹解决；最佳实践包括控制层级深度、保持命名空间与目录结构一致、统一前缀及适当使用别名，以提升可读性和维护
2025-06-09 20:33:01
378
PHP中的定时任务：如何使用Cron调度PHP脚本 Cron是类Unix系统中用于周期性执行任务的工具，PHP开发者可用其定时执行PHP脚本。具体步骤为：1.编写PHP脚本并确保可通过CLI运行，推荐添加shebang行并赋予执行权限；2.测试脚本在终端中正常执行；3.使用crontab-e编辑配置文件，添加类似“*/usr/bin/php/path/to/script.php”的表达式；4.注意使用绝对路径、记录日志、处理权限及环境变量问题。配置时需测试时间表达式，避免因路径或权限问题导致执行失败。
2025-06-09 20:27:01
542
PHP中的SSH连接：如何使用PHP执行远程服务器命令 要通过PHP脚本连接远程服务器并执行命令，可使用SSH协议实现。具体方法如下：1.使用phpseclib扩展：通过Composer安装后引入库，创建SSH连接对象并登录执行命令，适合简单控制场景；2.使用ext-ssh2扩展：需安装PHP扩展并启用模块，性能更优但配置较复杂，适合有经验的开发者；3.注意事项包括避免硬编码密码、设置连接超时、确保用户权限、完善错误处理、记录日志信息及调整脚本执行时间限制。根据项目需求选择合适方案，并重视安全性与细节处理以确保稳定运行。
2025-06-09 17:18:01
149
PHP中的身份验证：如何在PHP中实现用户身份验证 用户身份验证在PHP开发中至关重要，其核心流程分为四步：用户提交信息、系统查询数据库、密码比对、创建Session；密码必须用password_hash()加密存储，并用password_verify()验证；使用Session维护登录状态时应设置$_SESSION标识，并在登出时清除；安全方面需防止暴力破解、SQL注入、会话劫持和XSS攻击；推荐使用框架如Laravel内置的认证机制以提升安全性与开发效率。
2025-06-09 17:12:01
981
PHP中的CORS处理：如何解决跨域资源共享问题 CORS是浏览器安全机制，限制不同源间的HTTP请求，PHP解决跨域需设置响应头并处理OPTIONS预检。具体步骤包括：1.添加Access-Control-Allow-Origin指定允许的源；2.使用Access-Control-Allow-Methods设置允许的请求方法；3.通过Access-Control-Allow-Headers声明允许的请求头；4.在代码中判断并正确响应OPTIONS请求以通过预检；5.避免滥用通配符，按需开放权限，提升安全性；6.建议使用框架中间件统一管理COR
2025-06-09 16:48:01
195
PHP中的水印添加：如何在图片上添加文字或图片水印 在PHP中使用GD库可为图片添加文字或图片水印以实现版权保护和品牌标识。添加文字水印时需选择合适字体（如simhei.ttf）、颜色（如白色）、大小及位置（常见于右下角或中间），并通过imagettftext()函数绘制，例如：$im=imagecreatefromjpeg('photo.jpg');$color=imagecolorallocate($im,255,255,255);imagettftext($im,20,0,10,30,$color,'simhei.ttf','©MySite
2025-06-09 16:15:01
725
PHP中的微服务架构：如何在PHP中构建微服务应用 PHP可以构建稳定高效的微服务架构，关键在于理解核心理念并合理使用工具。其优势包括成熟框架（如Laravel、Symfony）、易部署维护及丰富社区资源。拆分服务应按业务功能（如订单、用户、支付服务）、数据边界或团队协作模式进行，初期保持2~5个服务为宜，并避免循环依赖。服务间通信可采用同步调用（RESTfulAPI）或异步通信（消息队列如RabbitMQ、Kafka），推荐结合API网关统一管理。部署方面建议使用Docker容器化、CI/CD自动化发布及Prometheus+Grafana监控
2025-06-09 15:27:01
687
PHP中如何实现数组洗牌？ 在PHP中实现数组洗牌可以通过shuffle()函数或自定义函数实现。1)使用Fisher-Yates算法的customShuffle()函数可以高效且公平地打乱数组。2)groupShuffle()函数可在洗牌时保持某些元素的相对顺序不变。
2025-06-09 15:06:01
757
PHP中的JSON处理：如何在PHP中解析和生成JSON数据 PHP处理JSON数据的内置函数主要有json_encode()和json_decode()。一、json_encode()用于将PHP数组或对象转换为JSON字符串，常用于构建API响应，默认中文会被转义，可用JSON_UNESCAPED_UNICODE保留中文，使用JSON_PRETTY_PRINT美化输出格式。二、json_decode()用于将JSON字符串解析为PHP变量，第二个参数设为true可返回数组而非对象，若JSON格式错误或编码非法则返回null，建议配合json_last_
2025-06-09 14:36:01
259
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部