如何利用python爬虫提交json数据
PHPz
PHPz 2017-04-17 17:32:51
[Python讨论组]

如题,目标是不需要POST的站点,已经按照抓包的结果伪装成了浏览器,似乎还少了点什么,抓包数据里面有发现JSON数据,感觉是因为这个原因,但是我不明白要如何正确提交,所以收到的是乱码字符或者是不完整的页面源码。我用浏览器获取了网页源代码做了比较确实不完整,爬虫只拿到了头部和尾部。不用管AJAX,因为就连摘取到的第一页的内容都是不完整的。

PHPz
PHPz

学习是最好的投资!

全部回复(3)
黄舟

去看json的那个请求,直接抓那个请求的数据就可以了

伊谢尔伦

你提供的信息太少了。。。

  1. 你到底想干什么?是提交GET请求吗?(你自己说的是没有POST的站点)

  2. 你用的是那个库?urllib.request吗?

  3. 在什么情况下收到乱码字符?怎么个乱码法?什么时候收到不完整的源码?你怎么知道源码不完整的?

巴扎黑

是不是你要抓取的内容是通过AJAX加载的?看你的描述好像是html中没有你想要的东西,但你在json里发现了。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号