文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
网页爬虫 - python 有哪些库可以模拟chrome对html的修改
巴扎黑
巴扎黑 2017-04-17 16:46:42
[Python讨论组]
0 3 300
举报

抓取数据时遇到个很麻烦的问题,就算没有javascript的影响,urllib获得的代码和chrome中的代码也不一样,在chrome中获取的xpath没法直接用.
比如chrome在table底下加了tbody

巴扎黑
巴扎黑

全部回复(3)
PHP中文网
PHP中文网2017-04-17 16:48:42 3楼

selenium，直接操作Chrome
【Python 笔记】selenium 简介

赞 +0
添加回复
PHPz
PHPz2017-04-17 16:48:42 2楼

设置一下user agent看看

赞 +0
添加回复
PHP中文网
PHP中文网2017-04-17 16:48:42 1楼

首先, 这是一个 XY 问题, 如果有一个库可以模拟chrome, 那它就是 chrome. (python 的鸭子)

如果你是问 table 下加了 tbody, 试试 html5lib, 它建树尽量模仿了 html5 的行为标准来修正节点.

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部