微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 后端开发 > php教程 > 正文

curl的一些小问题

php中文网
发布： 2016-06-23 13:51:40
原创
992人浏览过

怎样用curl抓取最新的数据？
比如，我抓取了一个网站的全部信息，然后那个网站更新了，我怎样才能抓取更新的那几条，而不重复抓取。

有道小P
有道小P

有道小P，新一代AI全科学习助手，在学习中遇到任何问题都可以问我。

有道小P 64
查看详情 有道小P

回复讨论(解决方案)

抓取到了之后保存到本地数据库。 然后找下，最新那几条有什么规律。如果能区分开来，则之前本地数据库有的就修改一下。 实在是区别不来，把所有抓取的都保存一次，如果保存成功了，清理掉以前的数据即可。

只有看到了，才知道是否是新的

curl 用属性 CURLOPT_WRITEFUNCTION
可在回调函数中判断抓取是否可以提前结束

哦，取数据库最大的一个id，然后得到那条信息的id,然后网页得到的id比数据库取出来大的就是最新的。
可是这样不是所有数据都要判断一次，效率不是很低？

我懂了，这些时间可以忽略不计，结贴，感谢

相关标签：
curl

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：zend redirect 跳转问题要疯了，求救 下一篇：dede 发布静态页面乱码问题
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
php脚本怎么在linux运行_php脚本在linux系统运行的配置方法 首先确认PHP是否安装，使用php--version检查；若未安装，在Debian/Ubuntu上运行sudoaptupdate&&sudoaptinstallphp-cliphp，在CentOS/RHEL上用sudoyuminstallphp或sudodnfinstallphp；接着创建以.php为扩展名的脚本文件，如test.php，内容包含；通过phptest.php命令运行脚本；为实现直接执行，添加Shebang#!/usr/bin/php至首行，并用chmod+xtest.php赋予执
2025-11-10 21:59:02
915
PHP怎么跳转并设置Cookie_PHP跳转页面同时设置Cookie的详细方法 首先使用setcookie()设置Cookie，再通过header()函数跳转页面，确保无任何输出；若已有输出，可改用JavaScript设置Cookie并跳转，或采用中间页面过渡方案。
2025-11-10 21:58:03
461
怎么解决Nginx 502 Bad Gateway错误_PHP-FPM配置问题排查教程 首先确认PHP-FPM服务是否运行，检查Nginx的fastcgi_pass配置与PHP-FPM监听路径是否匹配，确保两者协议一致；接着验证PHP-FPM池配置中listen地址、权限设置正确，重启服务；然后排查文件权限及AppArmor限制；最后通过Nginx和PHP-FPM错误日志定位具体原因。
2025-11-10 21:49:02
534
如何配置php网站api限流_接口访问频率限制与防刷配置方法教程 配置PHP网站API限流可有效防止恶意请求、减轻服务器压力。1.使用Redis实现滑动窗口限流，基于用户IP或ID记录请求次数，利用INCR和EXPIRE命令设置时间窗口；2.区分固定窗口与滑动窗口算法，后者通过ZSET记录时间戳更精确防突增；3.在Nginx层配置limit_req_zone进行前置限流，结合burst与nodelay控制突发请求；4.根据用户身份动态调整限流策略，如普通用户30次/分钟，认证用户100次/分钟，API密钥用户1000次/小时；建议Nginx做基础防护，PHP+
2025-11-10 21:45:35
344
php调用网页截图功能_php调用浏览器渲染网页截图 使用PHP调用Node.js的Puppeteer库可实现网页截图。首先安装Node.js和Puppeteer，编写Node脚本screenshot.js接收URL和输出路径参数，通过无头Chrome加载页面并截图。PHP使用exec()函数执行该脚本，并传入安全过滤后的URL和目标路径。执行成功后返回图片地址。需确保服务器安装Chromium并配置--no-sandbox等启动参数以支持无头模式。为保障安全，应对输入进行验证，防止命令注入；建议异步队列处理任务并设置超时，避免资源占用。整个流程为
2025-11-10 21:37:02
585
PHP如何执行SQL查询并获取结果_PHP通过PDO执行SELECT语句详解 使用PDO执行数据库查询需先建立连接并设置错误模式，再根据情况选择query()或prepare()/execute()方法获取结果。
2025-11-10 21:30:02
561
如何安装php版本控制工具_git与php项目版本控制配置方法 安装Git后配置用户信息，初始化PHP项目仓库，添加.gitignore忽略无关文件，并推送至远程仓库完成版本控制搭建。
2025-11-10 21:17:02
576
如何安装php扩展_php常用扩展安装与功能启用方法 推荐使用包管理器安装PHP扩展，如Ubuntu下用apt安装php-curl、php-mysql等；CentOS用yum或dnf；也可通过PECL安装第三方扩展如redis，需执行peclinstallredis并配置extension=redis.so；源码编译适用于自定义需求，步骤包括phpize、configure、make；常用扩展有curl、gd、mbstring、mysqlnd、redis、opcache等，功能涵盖网络请求、图像处理、多语言支持、数据库连接与性能优化；安装后需重启A
2025-11-10 21:11:10
168
php网站怎么部署到laravelvalet_php网站laravelvalet本地开发部署方法教程 答案：部署PHP网站到LaravelValet需先安装Valet，再将项目目录park或link，最后通过.test域名访问。具体为：1.安装Homebrew、PHP、Composer后，全局安装Valet并运行valetinstall；2.进入项目根目录执行valetpark使子目录项目可通过*.test访问，或进入单个项目目录执行valetlink自定义域名；3.确保入口文件存在且依赖服务已启动，浏览器访问对应.test域名即可，问题可查valetlogs日志。
2025-11-10 21:11:02
140
如何在macOS上通过Homebrew安装PHP 8.1的详细教程？ 首先安装Homebrew并更新至最新版本，然后通过brewtapshivammathur/php添加PHP扩展仓库，接着执行brewinstallshivammathur/php/php@8.1安装PHP8.1，再将PHP路径添加到shell配置文件（如~/.zshrc或~/.bash_profile）中以配置环境变量，最后运行php-v验证是否成功安装PHP8.1。
2025-11-10 21:10:04
891
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部