求采集页数多里，怎样分开一部分一部分采
连接$url=array()里面一共有1000个页面的URL地址，
我写了一个采集类
foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->getContents($get_json_contetns,$key);
}
像这样循化出来的$excel_contetns 就是我要采集的内容。
当我采集50页以下，还好，当页数多了，就采集超时了，还请大侠指点一下，我怎么处理一下？？？
------解决方案--------------------
将 $url 存入数据库
逐次从数据库读取 $value 执行采集，如遇新的 url，重复第一步
------解决方案--------------------
不要拘泥于“存不存数据库”，问题的实质是将单一的任务分解成多个任务来完成
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
111
