这个网站,为啥我用file_get_contents抓取不到任何内容?

php中文网
发布: 2016-06-06 20:19:53
原创
1633人浏览过

http://www.hdwallpapersimages.com/
浏览器显示正常,先使用file_get_contents,抓取内容为空,用chinaz的百度蜘蛛和谷歌蜘蛛模拟抓取,还是请求超时,于是我干脆复制我浏览器的header,用file_get_contents抓取,还是抓取为空,这是我的代码:

$opts = array(
            'http'=>array(
                'method'=>"GET",
                'header'=>"Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\r\n".
                    "Accept-Encoding:gzip, deflate, sdch\r\n".
                    "Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\r\n".
                    "Cache-Control:max-age=0\r\n".
                    "Cookie:viewed_cookie_policy=yes; __utmt=1; __utma=37938810.875942873.1452954236.1453114091.1453209277.3; __utmb=37938810.30.10.1453209277; __utmc=37938810; __utmz=37938810.1452954236.1.1.utmcsr=bing|utmccn=(organic)|utmcmd=organic|utmctr=hd%20wallpaper; __unam=eb5fde1-1524ad24043-4a580705-62\r\n".
                    "Host:www.hdwallpapersimages.com\r\n".
                    "Proxy-Connection:keep-alive\r\n".
                    "Upgrade-Insecure-Requests:1\r\n".
                    "User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36\r\n"
            )
        );
        $context = stream_context_create($opts);
        echo file_get_contents('http://www.hdwallpapersimages.com', false, $context);
登录后复制

回复内容:

http://www.hdwallpapersimages.com/
浏览器显示正常,先使用file_get_contents,抓取内容为空,用chinaz的百度蜘蛛和谷歌蜘蛛模拟抓取,还是请求超时,于是我干脆复制我浏览器的header,用file_get_contents抓取,还是抓取为空,这是我的代码:

$opts = array(
            'http'=>array(
                'method'=>"GET",
                'header'=>"Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\r\n".
                    "Accept-Encoding:gzip, deflate, sdch\r\n".
                    "Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\r\n".
                    "Cache-Control:max-age=0\r\n".
                    "Cookie:viewed_cookie_policy=yes; __utmt=1; __utma=37938810.875942873.1452954236.1453114091.1453209277.3; __utmb=37938810.30.10.1453209277; __utmc=37938810; __utmz=37938810.1452954236.1.1.utmcsr=bing|utmccn=(organic)|utmcmd=organic|utmctr=hd%20wallpaper; __unam=eb5fde1-1524ad24043-4a580705-62\r\n".
                    "Host:www.hdwallpapersimages.com\r\n".
                    "Proxy-Connection:keep-alive\r\n".
                    "Upgrade-Insecure-Requests:1\r\n".
                    "User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36\r\n"
            )
        );
        $context = stream_context_create($opts);
        echo file_get_contents('http://www.hdwallpapersimages.com', false, $context);
登录后复制

你抓取的网站打不开么

ChatPDF
ChatPDF

使用ChatPDF,您的文档将变得智能!跟你的PDF文件对话,就好像它是一个完全理解内容的人一样。

ChatPDF 327
查看详情 ChatPDF

因为网站我也打不开,哈哈哈哈,在你运行的机子上 直接curl 看看有内容么

相关标签:
php
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号