文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
网页爬虫 - Python 爬虫
黄舟
黄舟 2017-04-17 16:53:56
[Python讨论组]
0 4 302
举报
黄舟
黄舟

人生最曼妙的风景，竟是内心的淡定与从容！

全部回复(4)
高洛峰
高洛峰2017-04-17 16:55:56 4楼

学习scrapy或BeautifulSoup的使用，不知道scrapy现在支不支持python3，但BeautifulSoup是肯定支持3的，这两个东东能满足你爬虫的一些基本需求了。

要是需要往大了做，会遇着一些比较恶心的东西，例如所谓的爬虫，反爬虫，反反爬虫……这些东西就是另外一个故事了。

如果有兴趣的话，请移步知乎，参考一下别人的答案点这里

赞 +0
添加回复
黄舟
黄舟2017-04-17 16:55:56 3楼

你想做什么 通用爬虫有现成的可以用 其余的都是解决各种恶心的东西
准确点说难点不在爬虫上 爬虫大了有规模了是难点 然后页面解析 各种识别参数模拟登陆这种才是真正要学的地方
另外有个经验 优先爬移动版
我知道有个scrapy 但是我们做项目的时候还是自己写了绝大多数框架 因为要做动态页面

赞 +0
添加回复
大家讲道理
大家讲道理2017-04-17 16:55:56 2楼

scrapy满足你一切需求。开源。

赞 +0
添加回复
巴扎黑
巴扎黑2017-04-17 16:55:56 1楼

去吧这个博客看了吧：https://segmentfault.com/a/1190000005155826

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部