文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
python - scrapy 怎么设置爬100次换代理
怪我咯
怪我咯 2017-04-18 09:36:36
[Python讨论组]
0 3 315
举报

scrapy中间件已经写过了，可以每次请求换一次代理，但是跑起来很慢，一天也就十几万的样子

代理是api那种，想减少代理的请求次数。

所以想到，多少次换一次代理这种。

怪我咯
怪我咯

走同样的路，发现不同的人生

全部回复(3)
阿神
阿神2017-04-18 09:38:36 3楼

可以scrapy中间件里边，start_request里边设定一个计数器，每100次就去换代理。

赞 +0
添加回复
PHP中文网
PHP中文网2017-04-18 09:38:36 2楼

给个计数器，到指定的次数就换

赞 +0
添加回复
高洛峰
高洛峰2017-04-18 09:38:36 1楼

写一个中间件进行计数

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部