文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？
迷茫
迷茫 2017-04-18 10:30:53
[Python讨论组]
0 2 840
举报

请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：

原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了

迷茫
迷茫

业精于勤，荒于嬉;行成于思，毁于随。

全部回复(2)
黄舟
黄舟2017-04-18 10:32:53 2楼

动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。

赞 +0
添加回复
大家讲道理
大家讲道理2017-04-18 10:32:53 1楼

这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～ 重要的是保持会话。

如果还不行的话，可以加referer再试一试

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部