如何处理simple_html_dom load_file 超时的问题？-php教程-PHP中文网

如何处理simple_html_dom load_file 超时的问题？

php中文网

发布： 2016-06-06 20:22:37

原创

1535人浏览过

我用simple_html_dom 爬取网页，用的面向对象方式，但是会出现超时的情况。

set_time_limit(10000);
ini_set('default_socket_timeout', 5);

$context = stream_context_create(
    array(
        'http'=>array(
            'method' => 'GET', 
            'timeout' => 5
        ),
    )
);
$shd->load_file($player_url, false, $contex);

登录后复制

我用上面的代码做限时处理，可是不起作用。当时间超过10000秒时会退出脚本，但是我希望一条请求超时后会终止这条请求，然后重新发起请求或进行下一条请求。大神有好的办法么？

回复内容：

我用simple_html_dom 爬取网页，用的面向对象方式，但是会出现超时的情况。

set_time_limit(10000);
ini_set('default_socket_timeout', 5);

$context = stream_context_create(
    array(
        'http'=>array(
            'method' => 'GET', 
            'timeout' => 5
        ),
    )
);
$shd->load_file($player_url, false, $contex);

登录后复制

不要直接使用它提供的接口获取网络上的内容，虽然它具备这个能力，但这也只是给你调试的时候使用的。在真实情况下很容易碰到如你问题中所述的超时情况，所以你最好先用curl接口来获取内容，然后再用simple_html_dom 来处理这个内容，前者可以很方便地处理各种网络错误

Smile企业费用管理系统源码1.0

一、源码特点企业费用管理系统，有权限分配，登陆验证，新增角色，发布公告等二、功能介绍1、js的兼容性有个地方不行（比如模块排序，那个时候也是雏鸟一只，写了一小撮，现在用jq应该好处理的吧，ie里面没问题，大家发挥吧）2、里面的菜单和对应菜单下面的目录项可以根据需求自己添加的，有对应模块3、可以根据自己设定的角色添加对应的访问页面4、有些操作涉及到按钮权限，对于这种思路，我粗粗的写了2个自定义控件，

查看详情

立即学习“前端免费学习笔记（深入）”；

function get_html_by_url($url, $timeout = 5) {
    $ch = curl_init();
    
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    
    // 自动识别301跳转
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    
    // 设置各种超时限制
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
    curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
    
    $html = curl_exec($ch);
    
    // 处理各种错误
    if (false === $html) {
        return false;
    }
    
    // 处理http错误
    if (200 != curl_getinfo($ch, CURLINFO_HTTP_CODE)) {
        return false;
    }
    
    return $html;
}

// 直接使用
$html = get_html_by_url('http://www.sina.com.cn', 5);

// 用simple_html_dom加载
if (false !== $html) {
    $shd->load($html);
}

登录后复制

配合set_time_limit(0);，必要时，适当增大default_socket_timeout