node.js - nodejs爬虫如何控制请求数量？-PHP中文网问答

文章专题 AI工具学习下载问答源码最近更新

PHP

会员中心讲师中心微信公众号

node.js - nodejs爬虫如何控制请求数量？

滿天的星座 2017-06-27 09:19:30

[Node.js讨论组]

1443

在用nodejs爬取网页内容的时候，如果请求数太多，有时候会导致抛出异常，提示 too many connections等错误.请问nodejs有没有线程锁定这样的关键字或者类库？或者怎么处理比较好？先谢谢了！

滿天的星座

全部回复(2)

typecho2017-06-27 09:21:30 2楼

nodejs没有sleep之类的函数。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);

赞 +0

添加回复

ringa_lee2017-06-27 09:21:30 1楼

async ？

赞 +0

添加回复

专题推荐

更多>

热门话题

热门教程

更多>

最新下载

更多>

网站特效

网站源码

网站素材

前端模板

关于我们免责申明意见反馈讲师合作广告合作最新更新: php中文网：公益在线php培训，帮助PHP学习者快速成长！; 关注服务号技术交流群

app下载

PHP中文网订阅号: 每天精选资源文章推送

PHP中文网APP: 随时随地碎片化学习

PHP中文网抖音号: 发现有趣的

PHP学习

技术支持

返回顶部