logging.getLogger() 总返回同一实例,因模块用字典缓存logger名称;子logger自动继承父级handler和level,但propagate=True易致重复输出;多进程需避免共用FileHandler,推荐独立文件或QueueHandler;JSON日志需预处理字段并确保换行。

为什么 logging.getLogger() 返回的总是同一个实例
因为 Python 的 logging 模块内部用字典缓存了所有已创建的 logger 实例,键是 logger 名称。调用 logging.getLogger("a.b.c") 时,如果该名称已存在,就直接返回缓存对象;不存在才新建并缓存。
这导致两个常见误解:
- 以为多次调用
getLogger()会新建 logger —— 实际不会,配置需在首次获取后统一设置 - 子 logger(如
getLogger("a.b.c"))自动继承父 logger("a"或"a.b")的 handler 和 level,但propagate=True是默认行为,容易造成日志重复输出 - 模块内习惯写
logger = logging.getLogger(__name__),这是推荐做法,能天然形成层级结构,但必须确保根 logger 或上级 logger 已配置 handler,否则日志“发出去却没人收”
Handler 写入失败却不报错的典型原因
FileHandler 或 RotatingFileHandler 在目录不存在、权限不足、磁盘满等情况下,通常静默失败——日志不写入,也不抛异常,只在内部记录一次 warning 到 logging.lastResort(一个默认的 StreamHandler),而这个 lastResort 默认只在 root logger 未配置 handler 时启用,且输出到 stderr,很容易被忽略。
排查建议:
立即学习“Python免费学习笔记(深入)”;
- 手动检查目标路径是否存在且可写:
os.path.isdir(os.path.dirname(log_path)) and os.access(os.path.dirname(log_path), os.W_OK) - 显式捕获 handler 初始化异常:
try: handler = RotatingFileHandler(...) except OSError as e: print(f"Handler init failed: {e}") - 避免依赖
lastResort,始终为 root 或关键 logger 显式添加至少一个可用 handler(如StreamHandler(sys.stderr))
如何安全地在多进程环境下写同一个日志文件
标准 FileHandler 不支持多进程并发写入,直接共用会导致内容错乱或丢失。Python 官方不提供跨进程安全的内置 handler,必须绕开或封装。
校无忧企业网站系统是一套面向公司、企业的建站系统,网站采用Div+Css布局,完美兼容IE等浏览器,具有设计美观、功能实用、操作方便等特点。系统主要功能:1、公司介绍2、新闻资讯3、产品中心4、人才招聘5、在线留言6、友情链接校无忧企业网站系统 v1.7 更新日志:1、修正前台招聘页面显示2、修正前台客服显示3、修正后台批量删除
可行方案:
- 每个进程写独立文件(推荐):用进程 ID 或名称区分,如
app.log.12345,后续用 logrotate 或脚本合并分析 - 用
QueueHandler+ 单独日志进程:主进程将日志 record 发送到multiprocessing.Queue,由唯一消费者进程用FileHandler写入,避免竞争 - 改用支持原子写入的外部服务:如
syslog(SysLogHandler)、redis、或fluentd等,把并发压力交给中间件 - 绝对不要在多进程里直接共享
FileHandler实例,即使加锁也难保底层 OS write 调用的原子性
JSON 格式日志输出的坑与务实做法
想让每行日志是合法 JSON(便于 ELK、Loki 解析),不能只靠重写 Formatter.format() —— 因为 LogRecord 中的 exc_info、stack_info 是元组或字符串,直接 json.dumps() 会失败;且默认字段(如 asctime、funcName)可能含不可序列化对象或特殊字符。
稳妥方式:
- 继承
logging.Formatter,在format()中预处理:把record.exc_text(已格式化的异常字符串)加入 dict,跳过record.exc_info原始元组 - 对字段做白名单过滤和类型规整:例如
str(getattr(record, 'asctime', ''))、record.levelname or 'UNKNOWN' - 避免在 format 中调用
traceback.format_exc()等耗时操作,应在makeRecord()或日志产生侧完成 - 若用第三方库(如
python-json-logger),注意其默认不处理extra中的嵌套 dict 或 datetime 对象,仍需自定义json_default函数
最易被忽略的一点:日志行末尾必须有换行符,否则多条 JSON 日志会粘连成非法格式——json.dumps(...)+ '\n' 是必须的。









