python - 网页抓取:selenium or X ?
阿神
阿神 2017-04-17 12:00:04
[Python讨论组]

有个需求是从一个网站上去抓取数据,但是这个网站貌似限制了爬虫,所以写 python 的人用 selenium 这个东西的 webdriver(我不太懂)去实现的。在本地(win7)测试没问题。但运行时会打开 firefox 图形界面。

问题来了。上传到服务器(centos),修改配置,像 FirefoxBinary 这个还好说,关键是 FirefoxProfile 这个完全搞不起来。开始是不知道在哪,gg了一下自己准备创建一个,但,貌似是没有安装图形界面的缘故,创建失败,如图:

我该怎么办?
1. 继续搞这个 profile(给服务器安装图形界面?)
2. 让 python coder 重新想办法?


说明:

更新了下标题,其实我不是问怎么装图形界面。而是分析两种方案的优劣,以及有没有更好的办法?

阿神
阿神

闭关修行中......

全部回复(6)
天蓬老师

CentOS可以装图形界面。

不过selenium支持headless模式,没有必要为跑selenium装图形界面,额外占用内存。只需要装一个xvfb,配置一下即可。

PHP中文网

试试Phantomjs,支持多平台,无需图形界面。

黄舟

网站怎么限制爬虫的?

如果基于header,就模拟下你浏览器的header。如果限制抓取频率,就自己控制下。

如果是需要运行js,scrapy+splash也行。

selenium+phantomjs也行。好像略暴力。

大家讲道理

是不是需要装Qt 你没有装

PHPz

问题被修改,我就隐藏原答案吧
//////////////////////
如果追求轻量化,个人更推荐 XFCE
本人愚见,LXDE有些 过于朴素 了,不是很喜欢,但也值得尝试
yum groupinstall "Xfce"

PHP中文网

装个Gnome吧:

yum groupinstall "Desktop"
yum groupinstall "X Window System"
yum groupinstall "Chinese Support"
startx

http://my.oschina.net/debi/blog/75929

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号