最近在爬股票的相关新闻，一开始设想的是，当有新的新闻动态发布，程序通过邮件发送最新内容到邮箱。
所以我想把新闻标题，内容存到数据库里，当内容更新时，把新的内容和数据库的标题列表对比，看是不是已存在的，如果已存在，那就不发送，如果没有，那发送到邮箱。
但数量大了以后，列表查询速度就会变慢，请问各位还有什么方法可以传授下吗？
![ThinkPHP5快速开发企业站点[全程实录]](https://img.php.cn/upload/course/000/000/068/6253d918a3ce7278.png)
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
2
1193
爬虫任务去重
抓过的链接存到一个set中，检查新链接是否在集合中即可。
去重有很多方法，比如楼上的set或者布隆过滤器都可以有效的使用内存，提升效率