
在使用php脚本检查大量url状态时,传统的`get_headers()`方法进行顺序请求可能导致`err_connection_reset`错误,尤其是在短时间内发起大量请求时,服务器可能触发ip限制或防火墙规则。本文将深入分析此问题,并提供一个基于curl multi的健壮解决方案,通过并发处理有效避免连接重置,显著提升检查效率和稳定性。
在开发需要批量检查远程文件或页面存在性的PHP脚本时,开发者常常会遇到连接问题,其中最常见且令人困惑的是ERR_CONNECTION_RESET。当尝试使用get_headers()等函数进行大量顺序请求时,即使引入了sleep()延迟,也可能在检查少量链接后出现此错误,导致后续请求失败,甚至影响同一IP地址通过浏览器访问这些链接。
ERR_CONNECTION_RESET错误通常表示服务器主动关闭了连接。这并非偶然,而是服务器或中间网络设备(如防火墙、负载均衡器、DDoS防护系统)在检测到异常或可疑行为时采取的防御措施。对于PHP脚本来说,以下行为可能触发此类防御:
sleep()函数虽然能增加请求间隔,但它无法改变请求的本质——它们依然是顺序执行的,并且每次请求都独立建立连接。这种模式容易被服务器的智能防御系统识别,并最终导致连接重置。
解决ERR_CONNECTION_RESET和提高效率的关键在于并发请求。PHP的cURL库提供了curl_multi系列函数,允许我们同时管理多个cURL句柄,以非阻塞的方式执行多个HTTP请求。这样,脚本可以一次性发起多个请求,等待它们并行完成,从而显著减少总耗时,并改变请求模式,降低被服务器识别为恶意行为的风险。
立即学习“PHP免费学习笔记(深入)”;
cURL Multi的工作原理是:
这种方式不仅提高了效率,因为它不需要等待一个请求完全完成后再发起下一个,而且服务器在同一时间内可能会看到来自同一IP的多个并发连接,而不是一系列快速的独立连接,这在某些情况下可能更不容易触发防御机制。
以下是一个使用cURL Multi来并发检查多个URL是否存在的文件,并记录结果的PHP函数示例:
<?php
/**
* 检查一系列版本化URL文件的存在性,使用cURL Multi进行并发请求。
*
* 解决了get_headers()在批量请求时可能导致的ERR_CONNECTION_RESET问题。
*/
function checkAllUrlsConcurrently() {
$revisionNumber = 25;
$minorNumber = 2;
$buildNumber = 128; // 从这个版本号开始递减检查
// 初始化cURL Multi句柄
$multiCurl = curl_multi_init();
// 用于存储每个cURL句柄及其对应的版本号,方便后续处理
$curlHandles = [];
// 循环构建所有需要检查的URL,并为每个URL创建独立的cURL句柄
for ($x = $buildNumber; $x > 0; $x--) {
$combinedUrl = 'http://update.example.com/Files/Updates/6.' . $revisionNumber . '.' . $minorNumber . '.' . $x . '/application7_' . $revisionNumber . '_' . $minorNumber . '_' . $x . '_de_FullInstallerx64.exe';
// 初始化单个cURL句柄
$curl = curl_init();
// 设置cURL选项
curl_setopt($curl, CURLOPT_URL, $combinedUrl);
curl_setopt($curl, CURLOPT_FILETIME, true); // 获取远程文件时间,如果需要
curl_setopt($curl, CURLOPT_NOBODY, true); // 只获取HTTP头部信息,不下载文件内容
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); // 将结果作为字符串返回,而不是直接输出
curl_setopt($curl, CURLOPT_HEADER, true); // 包含响应头到返回字符串中
curl_setopt($curl, CURLOPT_TIMEOUT, 10); // 设置连接超时时间为10秒
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 5); // 设置连接建立超时时间为5秒
// 可选:设置User-Agent,模拟浏览器请求,降低被服务器拦截的风险
// curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36');
// 将单个cURL句柄添加到cURL Multi句柄中
curl_multi_add_handle($multiCurl, $curl);
// 存储句柄和对应的版本号
$curlHandles[] = ['curl' => $curl, 'build' => $x];
}
// 执行所有并发请求
$running = null; // 用于跟踪正在运行的cURL句柄数量
do {
// 循环执行cURL Multi句柄,直到所有请求完成或有错误发生
$status = curl_multi_exec($multiCurl, $running);
// 如果有正在运行的请求,并且没有错误,则等待套接字活动
if ($running && $status == CURLM_OK) {
curl_multi_select($multiCurl); // 阻塞直到有活动发生
}
} while ($running > 0 && $status == CURLM_OK); // 当还有请求在运行且没有错误时继续
// 处理每个请求的结果
foreach ($curlHandles as $item) {
$curl = $item['curl'];
$build = $item['build'];
file_put_contents('log.txt', "Checking Build: " . $build . "\n", FILE_APPEND);
// 获取HTTP状态码
$httpCode = curl_getinfo($curl, CURLINFO_HTTP_CODE);
// 获取实际请求的URL,以防重定向
$combinedUrl = curl_getinfo($curl, CURLINFO_EFFECTIVE_URL);
if ($httpCode === 404) {
$exists = "no";
file_put_contents('log.txt', $combinedUrl . " - " . "does not exist. \n", FILE_APPEND);
} else if ($httpCode >= 200 && $httpCode < 300) { // 2xx 范围表示成功
$exists = "yes";
file_put_contents('log.txt', $combinedUrl . " - " . "exists. \n", FILE_APPEND);
} else {
// 处理其他HTTP状态码,例如3xx重定向,5xx服务器错误等
$exists = "unknown/error";
file_put_contents('log.txt', $combinedUrl . " - " . "returned HTTP " . $httpCode . ". \n", FILE_APPEND);
}
// 从cURL Multi句柄中移除已处理的单个cURL句柄
curl_multi_remove_handle($multiCurl, $curl);
// 关闭单个cURL句柄
curl_close($curl);
}
// 关闭cURL Multi句柄
curl_multi_close($multiCurl);
}
// 调用函数执行检查
checkAllUrlsConcurrently();
?>当PHP脚本在批量检查URL时遇到ERR_CONNECTION_RESET问题,这通常是由于服务器的防御机制被触发。传统的顺序请求方法难以规避此类问题。通过采纳cURL Multi方案,开发者可以实现高效、并发的URL状态检查,显著提升脚本的执行效率和稳定性,同时有效避免因请求模式被识别而导致的连接重置问题。正确配置cURL选项并实施适当的错误处理和资源管理,将确保这一过程的可靠性。
以上就是PHP并发URL状态检查:解决连接重置与效率瓶颈的cURL Multi方案的详细内容,更多请关注php中文网其它相关文章!
PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号