答案：使用文件、数据库、持久化队列或检查点机制可实现爬虫进度记录与恢复。1. 文件记录已抓取URL或ID，通过set去重，避免重复请求；2. 数据库存储状态字段，支持断点续传与失败重试；3. 持久化队列如diskcache或Redis保障任务不丢失；4. 定期保存检查点适用于分页抓取。
在使用Python编写爬虫时，面对大规模数据抓取任务，程序中途停止（如网络异常、系统崩溃）会导致重复抓取或数据丢失。因此，实现爬取进度的记录与恢复机制非常关键。下面介绍几种实用的方法来管理爬取进度。
1. 使用文件记录已爬取的URL或ID
最简单直接的方式是将已经成功抓取的URL或唯一标识（如文章ID）保存到本地文件中，比如文本文件或JSON文件。
操作建议：
- 每次成功抓取一个页面后，将其URL或ID写入文件。
- 启动爬虫前先读取该文件，构建一个已处理集合（set），避免重复请求。
- 使用追加模式（'a'）写入，防止覆盖已有记录。
processed = set()
# 加载已处理的ID
try:
with open('processed.txt', 'r') as f:
processed = {line.strip() for line in f}
except FileNotFoundError:
pass
爬取逻辑
for item_id in all_ids:
if item_id in processed:
continue
抓取并解析
data = fetch_data(item_id)
save_data(data)
# 记录完成
with open('processed.txt', 'a') as f:
f.write(item_id + '\n')
processed.add(item_id)2. 利用数据库管理状态
对于较复杂的项目，推荐使用SQLite、MySQL或MongoDB等数据库存储爬取状态。
立即学习“Python免费学习笔记（深入）”；
优势：
- 支持结构化字段，如url、status（待抓取/成功/失败）、timestamp等。
- 便于查询和更新，可实现断点续传和失败重试。
- 并发控制更友好。
建一张表记录任务队列，每条记录包含状态标记。爬虫启动时只处理status='pending'的任务，完成后更新为'success'。
3. 使用持久化队列避免内存丢失
如果使用队列管理待抓取链接（如广度优先遍历），普通队列在程序中断后无法恢复。可以采用持久化队列方案。
推荐工具：
- diskcache：将队列存到磁盘，API简单，适合中小型项目。
- Redis + RQ：适合分布式场景，自动持久化任务队列。
- Scrapy-Redis：结合Scrapy框架实现跨机器任务共享与断点恢复。
4. 定期保存检查点（Checkpoint）
对于长周期任务，可以每隔一段时间或一定数量请求后，保存当前进度到文件或数据库。
例如：每抓取100条数据，记录最后一个处理的索引位置。下次运行时从该位置继续。
这种方式适合按页或按序号分页的接口抓取，比如?page=1&start=100。
基本上就这些常见做法。选择哪种方式取决于项目规模和复杂度。小项目用文件记录足够，大项目建议上数据库或专用队列系统。关键是保证每次成功操作都能及时落盘，避免重复劳动。
