网页爬虫 - java 爬虫多线程读取同一个集合-PHP中文网问答

首页

文章

后端开发 web前端数据库开发工具 php框架常见问题科技 Java 系统教程电脑教程硬件教程手机教程软件教程游戏教程自媒体新闻

专题

后端开发 web前端数据库开发工具 php框架科技 Java 系统教程电脑教程硬件教程手机教程软件教程游戏教程新闻

AI工具

AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令

学习

大前端后端开发数据库移动端运维开发计算机基础

编程手册

大前端后端开发数据库移动端运维开发计算机基础

下载

js特效网站源码工具下载类库下载网站素材学习资源插件扩展手机游戏

最近更新

网页爬虫 - java 爬虫多线程读取同一个集合

伊谢尔伦 2017-04-18 10:26:41

[Java讨论组]

732

自己打算用java写个多线程的爬虫，结果在存储爬取得到数据的时候遇到了难点
我是打算把采集到的网页放在mysql数据中，然后问题来了
假设我开启了50个线程，然后爬取得到的每一个网页存储到一个对象，然后把对象放入集合当中，之后当对象里面的容量满到1000就写入一次数据库。但是感觉这样会有点问题

但是多个线程同时操作一个集合，怎么保证安全呢，不会出错吗
或者大神们提供一点更好的思路，初学java，讲的详细点吧

伊谢尔伦

小伙看你根骨奇佳，潜力无限，来学PHP伐。

全部回复(2)

黄舟2017-04-18 10:28:41 2楼

用Collections.synchronizedSet把你的集合变成线程安全的

赞 +0

添加回复

怪我咯2017-04-18 10:28:41 1楼

楼上正解，或者把集合读写代码放在synchronized代码块里

...
synchronized (set) {
  set.add(page);
}
...
synchronized (set) {
  insertToDb(set);
  set.clear();
}
...

赞 +0

添加回复

专题推荐

更多>

热门话题

热门教程

更多>