python - 2亿++的网址,怎样快速确认网页状态码?
世界只因有你
世界只因有你 2017-05-18 10:56:14
[Python讨论组]

用requests写了个多线程,感觉有点慢,还有其他方法么?

世界只因有你
世界只因有你

全部回复(5)
PHPz

使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)

好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)

巴扎黑

python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。

ringa_lee

使用grequests,对requests进行了并发封装

https://github.com/kennethrei...

迷茫

这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!

大家讲道理

Head请求能快一点吧?

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号