在使用selenium爬取12306的过程中,发现使用phantomjs无法爬取,使用chromedriver就可以,应该是phantomjs被网站检测出来后封禁了,使用chromedriver又会显示界面,爬取效率低。
现在有两点疑问,google了好久都没找到有效的解决方法
1.如何伪装phantomjs,尽最大可能的伪装
2.如何设置chromedriver,使其不显示界面,或者还有什么其他方法提高爬取效率
感谢!!!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
通过PyVirtualDisplay可以实现你的需求,大概代码就是这样:
不知道你修改过phantomjs的头信息没有,可以通过
这种方式修改phantomjs的头部信息,这个也可以试试
可以参考鄙人的文章在headless模式下运行selenium