使用file_get_contents和curl写采集-php教程-PHP中文网

使用file_get_contents和curl写采集

PHP中文网

发布： 2017-07-29 18:27:01

原创

1762人浏览过

经常会发现要用到的数据都在一个网站上，而且数据展现格式都是一样，比如淘宝或亚马逊上成千上万的产品，如果手工录入信息的话工作量就太大了，这时我们就可以编写采集程序直接采集并展现出来。服务器支持file_get_contents和curl

首先在页面加入一个文本框和提交按钮，文本框用来输入采集页面地址。

采集需要用到正则截取函数

function preg_substr($start, $end, $str) // 正则截取函数      
{      
    $temp = preg_split($start, $str);      
    $content = preg_split($end, $temp[1]);      
    return $content[0];      
}

登录后复制

采集需要用到字符串截取函数

function str_substr($start, $end, $str) // 字符串截取函数      
{      
    $temp = explode($start, $str, 2);      
    $content = explode($end, $temp[1], 2);      
    return $content[0];      
}

登录后复制

还有一个保存采集的内容的函数：

function writelog($str)
{
@unlink("log.txt");
$open=fopen("log.txt","a" );
fwrite($open,$str);
fclose($open);
}

登录后复制

有时候采集到的内容和我们通过浏览器查看的内容不一致，导致我们找不到正确的正则表达式，这里就可以打开保存的txt文件，在里面找到正确的截取字符串。

如果需要连图片也采集下来就需要用到图片函数：

function getImage($url, $filename='', $dirName, $fileType, $type=0)
{
    if($url == ''){return false;}
    //获取文件原文件名
    $defaultFileName = basename($url);
    //获取文件类型
    $suffix = substr(strrchr($url,'.'), 1);
    if(!in_array($suffix, $fileType)){
        return false;
    }
    //设置保存后的文件名
    $filename = $filename == '' ? time().rand(0,9).'.'.$suffix : $defaultFileName;
          
    //获取远程文件资源
    if($type){
        $ch = curl_init();
        $timeout = 5;
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
        $file = curl_exec($ch);
        curl_close($ch);
    }else{
        ob_start();
        readfile($url);
        $file = ob_get_contents();
        ob_end_clean();
    }
    //设置文件保存路径
    $dirName = $dirName.'/'.date('Y', time()).'/'.date('m', time()).'/'.date('d',time()).'/';
    if(!file_exists($dirName)){
        mkdir($dirName, 0777, true);
    }
    //保存文件
    $res = fopen($dirName.$filename,'a');
    fwrite($res,$file);
    fclose($res);
    return $dirName.$filename;
}

登录后复制

加入采集代码，由于这里加入采集代码不让提交，直接上图；

我们以亚马逊的一个产品页为例：输入某个产品链接：

看看采集结果如下图，这里只展示内容，加入数据库就比较简单了，有时间再介绍自动进入下级链接或自动翻页的采集。

以上就是使用file_get_contents和curl写采集的详细内容，更多请关注php中文网其它相关文章！