Python爬虫必须闭环监控：用psutil实时查进程状态与资源、APScheduler+Redis定时上报心跳、RotatingFileHandler防日志爆盘、Flask提供健康接口，细节如时间戳对齐和降级逻辑需压测验证。
Python爬虫跑起来之后就黑盒了？不是等报错才发现挂了，就是日志里翻半天才看出卡在哪——这种监控不是“可有可无”，而是上线前必须闭环的事。
用 psutil 实时查进程存活与资源占用
靠 ps aux | grep spider.py 手动查太原始，且无法判断是否假死。用 psutil 可以在 Python 内部直接读取自身或子进程状态，还能捕获 CPU、内存、线程数异常。
- 安装：
pip install psutil - 检查主进程是否存活：
psutil.pid_exists(os.getpid()) - 查当前爬虫子进程（如用了
scrapy crawl或subprocess.Popen）：psutil.Process(pid).status()返回'running'/'sleeping'/'zombie' - 内存超阈值预警（比如 > 800MB）：
psutil.Process().memory_info().rss > 800 * 1024 * 1024
用 APScheduler 定期上报心跳到 Redis
光本地查不够，得让外部系统（比如 Grafana、告警平台）能感知。最轻量的方案是爬虫自己定时往 Redis 写个带 TTL 的 key，外部轮询即可。
- 安装：
pip install apscheduler redis - 启动时注册一个每 30 秒执行一次的 job：
BackgroundScheduler().add_job(heartbeat, 'interval', seconds=30) -
heartbeat()函数只需做两件事：连接 Redis，执行r.setex('spider:my_spider:alive', 60, int(time.time())) - 注意：TTL 设为上报间隔的 2 倍（如 60 秒），避免网络抖动导致误判下线
日志中埋点 + logging.handlers.RotatingFileHandler 防爆盘
很多爬虫崩溃是因为日志狂打没限速，或者写满磁盘后 open() 失败直接退出。别只靠 print，要用结构化日志+滚动策略。
立即学习“Python免费学习笔记（深入）”；
- 关键节点打日志：请求开始、解析成功、入库完成、重试第 N 次——都用
logger.info()并带上url、status_code、item_count等字段 - 避免单文件无限增长：
RotatingFileHandler(filename='spider.log', maxBytes=10*1024*1024, backupCount=5) - 错误必须
logger.exception()，否则堆栈信息会丢 - 别把敏感字段（如 cookies、token）直接打到日志里，先脱敏再记录
用 Flask 搭个极简状态页（不暴露源码）
运维或产品临时想看一眼运行情况，总不能让人 SSH 登上去翻日志。起个只有 GET 接口的轻量服务，返回 JSON 即可，连模板都不用。
from flask import Flask, jsonify import psutil import redisapp = Flask(name) r = redis.Redis()
@app.route('/health') def health(): return jsonify({ 'pid': psutil.os.getpid(), 'status': 'running' if psutil.pid_exists(psutil.os.getpid()) else 'dead', 'mem_mb': psutil.Process().memory_info().rss // 1024 // 1024, 'last_heartbeat': r.get('spider:my_spider:alive'), 'uptime_seconds': int(time.time()) - psutil.Process().create_time() })
启动命令加个 --host=0.0.0.0 --port=8001 --threaded，然后用 nginx 反代并加基础鉴权（比如 HTTP Basic Auth），别直接暴露到公网。
真正难的不是搭这些组件，而是统一时间戳、对齐心跳周期、处理 Redis 连接中断时的降级逻辑——这些细节不压测一遍，上线后第一波流量就会暴露出来。
