文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 后端开发 > php教程 > 正文

连续的分页采集问题

php中文网
发布： 2016-06-06 20:38:28
原创
1483人浏览过

目标站点：http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm
获取内容：正文图片和文字说明；
本人实现方法：
因为分页地址是连续的，我是在目标地址上做循环

http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm

用get_headers访问后 获取返回是否为200，是的话进行内容抓取
1、curl获取当前地址html后，截取所需内容
2、_2这个就是变量，自增后继续判断下一页是否可以访问，可以访问就继续采集

以上是可以实现采集抓取的，但是好像速度很慢，而且每次都是curl去抓取对服务器貌似也有压力

问题：如何改进，大家是如何用php做的抓取，求思路和方向

回复内容：

目标站点：http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm
获取内容：正文图片和文字说明；
本人实现方法：
因为分页地址是连续的，我是在目标地址上做循环

http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm

用get_headers访问后 获取返回是否为200，是的话进行内容抓取
1、curl获取当前地址html后，截取所需内容
2、_2这个就是变量，自增后继续判断下一页是否可以访问，可以访问就继续采集

以上是可以实现采集抓取的，但是好像速度很慢，而且每次都是curl去抓取对服务器貌似也有压力

问题：如何改进，大家是如何用php做的抓取，求思路和方向

下面不是有分页么，直接获取

里面的链接存到数组抓吧

  1. 直接抓取，抓取返回结果的时候就先判断状态码是否为200
  2. Curl并发
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：微信小程序出现“invalid code”怎么办 下一篇：百度编辑器Ueditor如何初始化内容
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
PHP怎样处理XML-RPC调用 处理XML-RPC的5个完整步骤 PHP处理XML-RPC调用需5个步骤：1.接收XML数据：使用file_get_contents('php://input')获取原始POST数据，不受Content-Type限制；2.解析XML数据：推荐simplexml_load_string()或DOMDocument解析，注意编码一致性；3.提取方法和参数：从和标签中获取方法名及参数，识别参数类型；4.调用PHP函数：通过白名单机制映射方法名到PHP函数，防止安全漏洞；5.构建XML响应：按XML-RPC格式返回结果或错误信息，确保编
2025-06-14 12:00:03
307
PHP邮件发送：PHPMailer配置方法 掌握PHPMailer的配置是解决PHP邮件发送问题的关键。1.下载并引入PHPMailer文件，确保路径正确；2.实例化对象并设置字符编码、启用SMTP；3.配置SMTP服务器地址、端口、加密方式和认证信息；4.设置发件人、收件人及回复地址；5.编写HTML或纯文本格式的邮件内容并添加附件；6.调用send()方法发送邮件并处理异常。常见问题如SMTP连接失败需检查Host、Port和SMTPSecure配置，SMTP认证失败应确认账号密码及邮箱授权码设置，邮件被识别为垃圾邮件可添加SPF和D
2025-06-14 10:57:02
434
PHP怎样解析Mach-O可执行文件 Mach-O文件解析技巧分享 使用PHP解析Mach-O文件的关键在于理解其结构并通过unpack函数读取二进制数据。1.Mach-O由Header、LoadCommands和Data组成；2.使用pack/unpack函数读取文件头，根据魔数判断32位或64位格式；3.解析LoadCommands需遍历每个命令头部，并按类型解析内容；4.提取代码段需定位LC_SEGMENT类型的__TEXT段，依据fileoff和filesize读取数据；5.加密文件需识别LC_ENCRYPTION_INFO并借助外部工具解密；6.可调用
2025-06-14 09:54:02
948
PHP跨域请求：CORS处理指南 跨域请求问题可通过设置CORS头解决，具体步骤如下：1.在PHP脚本中添加Access-Control-Allow-Origin指定允许的域名或使用*（仅限开发环境）；2.设置Access-Control-Allow-Methods定义允许的HTTP方法；3.配置Access-Control-Allow-Headers指定允许的请求头；4.确保服务器启用必要模块如Apache的mod\_headers或正确配置反向代理；5.正确处理OPTIONS预检请求；6.若需携带Cookie，设置Acces
2025-06-14 09:39:01
141
PHP如何调用CMake构建 使用PHP执行CMake的3个示例 PHP调用CMake构建的核心方式是通过exec()、shell_exec()、system()等函数执行系统命令，但需注意权限控制、参数安全与错误处理。1.使用exec()或类似函数执行cmake命令进行配置与构建，确保路径正确并创建构建目录；2.传递参数时使用escapeshellarg()转义或白名单验证以防止命令注入；3.权限问题可通过修改目录权限、配置sudoers或使用setfacl解决；4.错误处理应检查返回码、捕获输出、记录日志并提供友好提示，推荐使用proc_open()实现实
2025-06-13 23:39:01
869
PHP怎样处理GraphQL突变 GraphQL数据变更操作技巧 GraphQL突变在PHP中用于执行创建、更新或删除数据等变更操作。1.定义Schema中的突变类型，包括名称、参数和返回值类型；2.实现Resolver函数，处理业务逻辑并与突变关联；3.创建脚本接收并解析GraphQL请求，执行对应Resolver；4.注重安全性，如输入验证、身份认证、速率限制及错误处理；5.优化性能，如批量处理、数据库事务、缓存及查询优化；6.实现文件上传需自定义Upload类型并在Resolver中处理文件。通过以上步骤可构建安全高效的GraphQLAPI。
2025-06-13 21:54:01
576
PHP中getcwd和__DIR__的目录获取区别 getcwd()和DIR的主要区别在于：getcwd()返回PHP脚本执行时的当前工作目录，而DIR返回的是当前脚本所在的目录。1.getcwd()获取的是当前PHP进程的工作目录，这个目录可以通过chdir()动态改变；2.DIR是魔术常量，返回脚本所在目录，静态且编译时确定。例如，在index.php中使用chdir('includes')改变工作目录后，getcwd()返回的是/var/www/html/includes，而DIR返回的是/var/www/html；3.在config.ph
2025-06-13 19:36:01
569
PHP中array()和[]定义数组的区别 PHP中array()和[]的主要区别在于语法和版本支持。1.array()函数适用于所有PHP版本，兼容性强；2.[]是PHP5.4引入的简写语法，更简洁但仅支持PHP5.4及以上版本；3.两者性能差异可忽略不计，选择应基于代码风格和项目需求；4.为提高可读性和维护性，建议在同一个项目中保持语法一致；5.编写需跨版本移植或维护老旧项目时，推荐使用array()函数。
2025-06-13 17:39:01
471
PHP文件压缩：ZipArchive使用 使用ZipArchive类压缩PHP文件可有效减小体积便于传输。具体步骤如下：1.使用RecursiveDirectoryIterator遍历目录并筛选PHP文件；2.通过ZipArchive对象创建或打开zip文件；3.将过滤后的PHP文件添加到压缩包中；4.关闭ZipArchive完成压缩。对于大型项目，可通过分批处理减少内存占用；排除特定文件则可在遍历过程中加入条件判断；解压时调用extractTo方法或使用第三方工具；优化压缩率可设置ZipArchive的压缩级别，或在压缩前精简代码。其
2025-06-13 15:30:02
546
PHP怎样处理GraphQL请求 GraphQL接口调用的4个步骤详解 PHP处理GraphQL请求的核心流程是接收请求、解析查询、执行并返回结果。GraphQL接口调用包括4个步骤：1.构建请求，确定endpoint并构造查询体；2.使用Guzzle等HTTP库发送POST请求；3.处理响应，解析JSON并捕获错误；4.展示所需数据。使用Guzzle时需先通过Composer安装，并创建客户端实例，将query和可选的variables以JSON格式发送。变量传递可通过在请求中添加variables字段实现。服务器错误可通过检查返回数据中的errors字段进行处理
2025-06-13 14:51:01
434
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部