Python屏蔽输出信息怎样在使用爬虫时隐藏请求日志 Python屏蔽输出信息的爬虫日志管控教程-Python教程-PHP中文网

要隐藏python爬虫中requests库的请求日志，核心是将urllib3日志器级别设为warning或更高；2. 通过logging.getlogger('urllib3').setlevel(logging.warning)可屏蔽debug和info级别的冗余日志；3. 同时应配置根日志器如logging.basicconfig(level=logging.info)以确保自定义日志正常输出；4. 在生产环境中需构建分级分类的日志体系，包括业务、错误、调试和性能日志，并输出到文件或集中式日志系统；5. 推荐使用结构化日志格式并结合异常处理机制，提升爬虫的可观测性与可维护性。

Python屏蔽输出信息怎样在使用爬虫时隐藏请求日志 Python屏蔽输出信息的爬虫日志管控教程

在Python爬虫开发中，要隐藏请求日志，核心在于对标准库

logging

登录后复制

模块的精细配置。我们通常会针对

requests

登录后复制

库（及其底层依赖

urllib3

登录后复制

）所使用的日志器，将其日志级别调高，从而过滤掉那些默认输出到控制台的HTTP请求或连接信息。这能让你的终端输出变得清爽，只显示你真正关心的信息。

解决方案

要让

requests

登录后复制

库在执行HTTP请求时不再打印详细的请求日志，最直接且推荐的做法是调整其底层依赖

urllib3

登录后复制

的日志级别。

requests

登录后复制

库本身并不会直接打印请求细节，而是依赖

urllib3

登录后复制

来处理连接和重试等，这些过程可能会产生大量日志。

import logging
import requests

# 屏蔽 requests 库的详细日志
# requests 内部使用了 urllib3，所以通常需要配置 urllib3 的日志
logging.getLogger('urllib3').setLevel(logging.WARNING)
# 如果还想更彻底，可以设置为 ERROR 或 CRITICAL
# logging.getLogger('urllib3').setLevel(logging.ERROR)

# 某些情况下，requests 自身也可能有一些日志，虽然不常见，也可以一并处理
logging.getLogger('requests').setLevel(logging.WARNING)

# 确保你的根日志器（或者你自己的日志器）设置得当，
# 否则即使子日志器级别很高，如果父日志器级别过低，也可能导致日志输出
# 这是一个常见的误区，新手容易忽略
# 假设你想看到自己代码的 INFO 级别日志，但隐藏 urllib3 的
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

# 现在执行一个请求，你会发现请求相关的详细日志消失了
try:
    response = requests.get('http://httpbin.org/get', timeout=5)
    response.raise_for_status() # 检查HTTP状态码
    print(f"请求成功，状态码：{response.status_code}")
    # print(response.text) # 可以打印响应内容
except requests.exceptions.RequestException as e:
    logging.error(f"请求失败: {e}")

# 你自己的日志仍然可以正常工作
logging.info("这是一个我们自己的信息日志，仍然会显示。")

登录后复制

为什么我们要费心去“隐藏”那些爬虫日志？

说实话，刚开始写爬虫的时候，我巴不得把所有请求细节都打印出来，那样感觉对程序运行了如指掌。但当爬虫规模稍微大一点，或者需要处理大量并发请求时，你会发现那些密密麻麻的HTTP请求日志简直是灾难。屏幕上滚动的信息量太大，根本无法有效捕捉到真正有用的信息，比如程序卡在哪了，哪个请求失败了，或者数据解析出了什么问题。

立即学习“Python免费学习笔记（深入）”；

想象一下，你调试一个几百个并发的爬虫，每个请求都打出“Starting new HTTPS connection...”或者“GET /some/path HTTP/1.1”这样的日志，那输出简直是“信息噪音”，瞬间就把你淹没了。在这种情况下，隐藏这些冗余的请求日志，就显得尤为重要。它能让你的控制台输出聚焦于业务逻辑、错误报告和关键状态更新，大幅提升调试效率和用户体验。在生产环境中，我们更是希望日志能被结构化地记录到文件或日志服务中，而不是随意地输出到标准输出，那样既不利于监控，也容易暴露不必要的细节。所以，这不仅仅是“隐藏”，更是“精简”和“聚焦”的过程。

具体操作：如何让Requests和Urllib3“安静”下来？

要让

requests

登录后复制

和它背后的

urllib3

登录后复制

安静下来，核心是利用Python标准库

logging

登录后复制

的层级结构和日志级别。

requests

登录后复制

库本身并没有一个独立的日志器来打印请求详情，它实际上是依赖于

urllib3

登录后复制

来处理底层的HTTP连接。因此，我们需要找到

urllib3

登录后复制

的日志器并调整其级别。

通常，

urllib3

登录后复制

的日志器名为

'urllib3'

登录后复制

。我们可以通过

logging.getLogger('urllib3')

登录后复制

来获取它。获取到日志器对象后，就可以使用

setLevel()

登录后复制

方法来设置其最低输出级别。常见的日志级别从低到高依次是：

DEBUG

登录后复制

INFO

登录后复制

WARNING

登录后复制

ERROR

登录后复制

CRITICAL

登录后复制

。

logging.WARNING
登录后复制
: 这是最常用的设置。它会屏蔽掉
```
DEBUG
```
登录后复制
和
```
INFO
```
登录后复制
级别的日志（包括请求开始、连接建立等），但仍然会显示
```
WARNING
```
登录后复制
、
```
ERROR
```
登录后复制
和
```
CRITICAL
```
登录后复制
级别的日志。这意味着如果
```
urllib3
```
登录后复制
在处理请求时遇到警告或错误（例如SSL证书问题、连接超时等），你仍然可以看到这些重要的提示。
logging.ERROR
登录后复制
: 如果你希望更彻底地屏蔽，只关心致命错误，可以将级别设置为
```
ERROR
```
登录后复制
。这会隐藏所有
```
WARNING
```
登录后复制
以下的日志。

以下是一个更具体的代码示例，展示了如何操作：

微信 WeLM

WeLM不是一个直接的对话机器人，而是一个补全用户输入信息的生成模型。

查看详情

import logging
import requests

# 1. 获取 urllib3 的日志器
urllib3_logger = logging.getLogger('urllib3')
# 2. 将其日志级别设置为 WARNING，忽略 INFO 和 DEBUG 级别的请求详情
urllib3_logger.setLevel(logging.WARNING)

# 3. 如果你还使用了 requests 的适配器（比如 HTTPAdapter），
# 它们也可能产生日志，虽然不常见，但可以一并设置
requests_logger = logging.getLogger('requests')
requests_logger.setLevel(logging.WARNING)

# 4. 配置你自己的根日志器（或者你自己的特定日志器）
# 这确保了你自己的 print 或 logging.info() 等操作仍然可以正常输出
# 同时不会被 urllib3 的日志淹没
# 这里设置 INFO 级别，意味着你代码中的 info、warning、error 都会显示
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

print("尝试发起一个HTTP请求...")
try:
    # 尝试访问一个网站，这里以百度为例
    response = requests.get('https://www.baidu.com', timeout=10)
    response.raise_for_status() # 如果状态码不是200，则抛出异常
    logging.info(f"成功访问百度，状态码：{response.status_code}")
except requests.exceptions.Timeout:
    logging.error("请求超时！")
except requests.exceptions.RequestException as e:
    logging.error(f"请求发生错误: {e}")

logging.info("爬虫任务的其他部分正在进行...")
# 你会发现，在执行 requests.get() 时，控制台不会再出现 urllib3 的那些冗余日志了。

登录后复制

通过这种方式，我们不仅让

requests

登录后复制

和

urllib3

登录后复制

“安静”下来，还保留了在发生实际问题（如连接错误、超时）时，它们仍然能通过

WARNING

登录后复制

或

ERROR

登录后复制

级别输出关键信息的能力，这对于问题诊断至关重要。

不止是隐藏：构建一个更健壮的爬虫日志体系

仅仅“隐藏”日志，在我看来，只是日志管理的第一步。真正的挑战和价值在于，如何在隐藏了那些噪音之后，构建一个既能提供足够信息量，又不会过度干扰的日志体系。这不仅仅是技术问题，更是一种工程哲学。

当你的爬虫从本地调试走向生产环境，或者规模变得庞大时，你需要的是一个能够清晰反映程序运行状态、快速定位问题的日志系统，而不是简单的控制台输出。

分级与分类：
- 业务日志： 记录爬取了哪些URL、解析了多少数据、存储成功了多少条。这些是爬虫的核心产出，通常是
```
INFO
```
  登录后复制
  级别。
- 错误日志： 任何请求失败、解析异常、存储失败等，都应该记录为
```
ERROR
```
  登录后复制
  或
```
CRITICAL
```
  登录后复制
  。这部分日志需要被重点关注，甚至触发告警。
- 调试日志： 仅在开发或特定问题排查时开启，记录最详细的请求、响应头、甚至部分响应体。生产环境通常关闭。
- 性能日志： 记录每个请求的耗时、处理速度等，用于性能分析和瓶颈定位。
日志输出目标：
- 文件日志： 将所有日志写入文件是基本要求。你可以按日期、按大小分割日志文件（日志轮转），防止单个文件过大。Python的
```
logging.handlers.RotatingFileHandler
```
  登录后复制
  和
```
TimedRotatingFileHandler
```
  登录后复制
  非常实用。
- 控制台（仅限关键信息）： 在生产环境，控制台通常只输出
```
WARNING
```
  登录后复制
  及以上级别的日志，或者只输出一些核心的“心跳”信息，表明程序还在运行。
- 远程日志服务： 对于大型爬虫集群，将日志发送到Elasticsearch、Splunk、Loki等集中式日志系统，配合Kibana、Grafana等工具进行可视化、搜索和分析，这是现代日志管理的标配。也可以考虑Sentry、Loguru等，它们提供了更便捷的错误追踪和日志收集功能。
结构化日志：
- 传统的日志格式（如
```
2023-10-27 10:30:00 - INFO - Message
```
  登录后复制
  ）虽然可读，但机器解析起来比较困难。
- 推荐使用JSON格式的结构化日志。每个日志条目都是一个JSON对象，包含时间戳、日志级别、消息、模块名，以及任何你希望添加的自定义字段（如
```
url
```
  登录后复制
  、
```
status_code
```
  登录后复制
  、
```
error_type
```
  登录后复制
  等）。这样，在日志系统中进行过滤、聚合和分析就变得异常高效。你可以使用
```
python-json-logger
```
  登录后复制
  或者直接在
```
logging.Formatter
```
  登录后复制
  中构建JSON。
异常处理与日志结合：
- 确保你的爬虫代码中，所有可能导致程序崩溃或数据丢失的异常都被捕获，并以适当的日志级别记录下来。
- 使用
```
logging.exception()
```
  登录后复制
  或
```
logging.error(exc_info=True)
```
  登录后复制
  可以自动记录完整的堆栈信息，这对于问题排查至关重要。