网络爬虫(又被称为网页蜘蛛,网络机器人,在foaf社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

1.需要安装的环境,主要是Python环境和数据库环境。
mongodb
redis
立即学习“Python免费学习笔记(深入)”;
mysql
2.常用的一些库
urillb
re
requests
selenium
phantomjs
lxml
beautifulsoup4
pyquery
pymysql
pymongo
redis
立即学习“Python免费学习笔记(深入)”;
flask
django
jupyter











