0

0

安装Scrapy教程

巴扎黑

巴扎黑

发布时间:2018-05-18 11:21:09

|

2503人浏览过

|

来源于php中文网

原创

scrapy,是基于python的网络爬虫框架,它能从网络上爬下来信息,是data获取的一个好方式。于是想安装下看看。

进到它的官网,安装的介绍页面

有3种装法,一个是从pip,一个是从源码编译,一个是从conda

根据之前的知识,pip就已经是集成在python中的包管理工具,最简单明了,就忽视了官网介绍界面的一句话

Note that sometimes this may require solving compilation issues for some Scrapy dependencies depending on your operating system

结果在编译阶段报了很多错误,解决一个还有一个。

InsCode
InsCode

InsCode 是CSDN旗下的一个无需安装的编程、协作和分享社区

下载

然后就放弃了,从源码编译,跟pip一样,也是一堆编译错误。

没办法,就去看conda,下载了个miniconda,60多M吧。仔细一研究结果爽死了。

可能python也注意到了它的包下载下来需要编译,编译的话需要依赖自己OS的环境配置,经常出错的这个问题。

miniconda是个已经安装好了python的一个集成环境,等于下载安装好了miniconda也就是下载好了基本的python核心程序,然后可以通过conda命令来来下载conda已经编译好的包来做功能扩展。也就是scrapy包以及它依赖的lxml,twisted等编译的我半死的包都是已经跟编译好的。那下载下来直接用就可以了。

相关专题

更多
c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

3

2026.01.09

c++框架学习教程汇总
c++框架学习教程汇总

本专题整合了c++框架学习教程汇总,阅读专题下面的文章了解更多详细内容。

7

2026.01.09

学python好用的网站推荐
学python好用的网站推荐

本专题整合了python学习教程汇总,阅读专题下面的文章了解更多详细内容。

11

2026.01.09

学python网站汇总
学python网站汇总

本专题整合了学python网站汇总,阅读专题下面的文章了解更多详细内容。

1

2026.01.09

python学习网站
python学习网站

本专题整合了python学习相关推荐汇总,阅读专题下面的文章了解更多详细内容。

4

2026.01.09

俄罗斯手机浏览器地址汇总
俄罗斯手机浏览器地址汇总

汇总俄罗斯Yandex手机浏览器官方网址入口,涵盖国际版与俄语版,适配移动端访问,一键直达搜索、地图、新闻等核心服务。

9

2026.01.09

漫蛙稳定版地址大全
漫蛙稳定版地址大全

漫蛙稳定版地址大全汇总最新可用入口,包含漫蛙manwa漫画防走失官网链接,确保用户随时畅读海量正版漫画资源,建议收藏备用,避免因域名变动无法访问。

14

2026.01.09

php学习网站大全
php学习网站大全

精选多个优质PHP入门学习网站,涵盖教程、实战与文档,适合零基础到进阶开发者,助你高效掌握PHP编程。

2

2026.01.09

php网站搭建教程大全
php网站搭建教程大全

本合集专为零基础用户打造,涵盖PHP网站搭建全流程,从环境配置到实战开发,免费、易懂、系统化,助你快速入门建站!

6

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python Scrapy 网络爬虫实战视频教程
Python Scrapy 网络爬虫实战视频教程

共16课时 | 5.4万人学习

PostgreSQL 教程
PostgreSQL 教程

共48课时 | 6.9万人学习

Kotlin 教程
Kotlin 教程

共23课时 | 2.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号