
在python的日志模块中,sysloghandler是用于将日志发送到远程syslog服务器的重要组件。当配置为使用tcp协议(即socktype=socket.sock_stream)时,sysloghandler会建立一个持久的tcp连接来发送日志。然而,在默认实现中,如果远程syslog服务器因网络故障、服务宕机或防火墙问题而无法响应,sysloghandler尝试发送日志的操作可能会无限期地等待,导致应用程序阻塞,甚至影响整个系统的稳定性。尤其是在python 2.7等较旧版本中,sysloghandler的构造函数并未提供直接设置socket连接超时的参数,这使得问题更加突出。
解决SysLogHandler阻塞问题的核心在于为其底层的socket连接设置一个合理的超时时间。由于SysLogHandler没有直接暴露设置超时的方法,我们需要通过继承SysLogHandler并重写其内部的createSocket方法来实现。
createSocket方法是SysLogHandler内部用于创建并返回用于日志传输的socket对象的关键方法。通过重写此方法,我们可以在socket创建完成后,但在其被用于连接或发送数据之前,为其配置超时参数。
定义自定义处理器类: 创建一个新的类,例如SysLogHandlerWithTimeout,继承自logging.handlers.SysLogHandler。
重写 createSocket 方法: 在该方法中,首先调用父类的createSocket方法来执行默认的socket创建逻辑。然后,通过访问self.socket获取到已创建的socket对象,并使用self.socket.settimeout()方法设置连接和发送操作的超时时间。
以下是实现这一机制的示例代码:
import logging
import logging.handlers
import socket
import sys
import time
# 假设 SyslogServer 和 SyslogPort 是全局变量或配置项
SyslogServer = '127.0.0.1' # 替换为你的Syslog服务器地址
SyslogPort = 514 # 替换为你的Syslog服务器端口
# 定义一个字典来存储logger实例,避免重复创建
loggers = {}
class SysLogHandlerWithTimeout(logging.handlers.SysLogHandler):
"""
自定义SysLogHandler,用于在socket连接上设置超时。
"""
def __init__(self, address, socktype=socket.SOCK_DGRAM, timeout=10):
super(SysLogHandlerWithTimeout, self).__init__(address, socktype)
self.timeout = timeout
def createSocket(self):
"""
重写createSocket方法,在创建socket后设置超时。
"""
# 调用父类的createSocket方法,创建socket
super(SysLogHandlerWithTimeout, self).createSocket()
# 设置socket的超时时间
if self.socket:
self.socket.settimeout(self.timeout)
# print("Socket timeout set to: %s seconds" % self.timeout) # 调试信息
def writeSyslog (mtype, msg):
"""
发送消息/日志到Syslog服务器
"""
try:
global loggers
logger_name = 'SplunkLogger' # 统一使用一个logger名称
if logger_name in loggers:
splunk_logger = loggers.get(logger_name)
else:
# 使用我们自定义的带有超时功能的SysLogHandler
# 注意:这里socktype=socket.SOCK_STREAM是为了TCP连接,与原问题一致
handler = SysLogHandlerWithTimeout(
address=(SyslogServer, SyslogPort),
socktype=socket.SOCK_STREAM,
timeout=5 # 设置5秒的超时时间
)
formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
handler.setFormatter(formatter)
splunk_logger = logging.getLogger(logger_name)
# 确保logger只添加一次handler,避免重复日志
if not splunk_logger.handlers:
splunk_logger.addHandler(handler)
splunk_logger.setLevel(logging.DEBUG) # 设置日志级别
loggers[logger_name] = splunk_logger
# 根据mtype发送不同级别的日志
if "emerg" in mtype:
splunk_logger.emergency(msg)
elif "alert" in mtype:
splunk_logger.alert(msg)
elif "crit" in mtype:
splunk_logger.critical(msg)
elif "err" in mtype:
splunk_logger.error(msg)
elif "warn" in mtype:
splunk_logger.warning(msg)
elif "notice" in mtype:
splunk_logger.notice(msg)
elif "info" in mtype:
splunk_logger.info(msg)
else:
splunk_logger.debug(msg)
except socket.timeout:
sys.stdout.write("\t\tSyslog failed due to timeout when sending to %s:%d\n" % (SyslogServer, SyslogPort))
except socket.error as e:
sys.stdout.write("\t\tSyslog failed sending to %s:%d - Socket Error: %s\n" % (SyslogServer, SyslogPort, e))
except Exception as e:
sys.stdout.write("\t\tSyslog failed sending to %s:%d - General Error: %s\n" % (SyslogServer, SyslogPort, e))
# 示例调用
if __name__ == "__main__":
print("尝试发送日志到Syslog服务器...")
# 模拟Syslog服务器不可用(例如,不启动一个服务器监听该端口)
# 或者启动一个简单的服务器来观察正常情况
# 正常发送日志
writeSyslog("info", "这是一条信息日志。")
time.sleep(1)
writeSyslog("warn", "这是一条警告日志。")
time.sleep(1)
# 模拟服务器无响应(如果服务器不存在或关闭,则会触发超时)
# 请确保 SyslogServer 和 SyslogPort 指向一个不会响应的地址或端口来测试超时
print("\n模拟服务器无响应,等待超时...")
SyslogServer = '127.0.0.1' # 假设这个地址没有Syslog服务器监听
SyslogPort = 5145 # 假设这个端口没有Syslog服务器监听
# 需要清除旧的logger handler,以便重新创建带有新地址的handler
if 'SplunkLogger' in loggers:
for handler in loggers['SplunkLogger'].handlers[:]:
loggers['SplunkLogger'].removeHandler(handler)
del loggers['SplunkLogger']
start_time = time.time()
writeSyslog("err", "这是一条错误日志,预期会超时。")
end_time = time.time()
print("日志发送尝试结束,耗时:%.2f 秒" % (end_time - start_time))
# 恢复到可能的正常地址(如果需要)
SyslogServer = '127.0.0.1'
SyslogPort = 514
if 'SplunkLogger' in loggers:
for handler in loggers['SplunkLogger'].handlers[:]:
loggers['SplunkLogger'].removeHandler(handler)
del loggers['SplunkLogger']
writeSyslog("info", "这是超时后的又一条信息日志。")超时值的选择:timeout参数的设置至关重要。一个过短的超时时间可能导致在网络暂时拥堵时误判服务器无响应;而一个过长的超时时间则会削弱超时机制的意义。通常,5到15秒是一个合理的初始范围,具体值应根据网络环境、服务器响应速度以及业务对日志实时性的要求进行调整。
立即学习“Python免费学习笔记(深入)”;
异常处理: 在writeSyslog函数中,我们已经添加了try...except块来捕获可能发生的异常。特别地,当socket操作超时时,会抛出socket.timeout异常。捕获此异常可以使程序在检测到超时后优雅地处理,例如记录错误信息、切换到本地日志文件或尝试重新连接。除了socket.timeout,还应考虑捕获更通用的socket.error或其他Exception,以增强程序的健壮性。
socktype 参数: 本教程的解决方案主要针对使用TCP协议(socktype=socket.SOCK_STREAM)的SysLogHandler。对于UDP协议(socktype=socket.SOCK_DGRAM),由于UDP是无连接的,发送操作通常不会阻塞,但无法保证消息的送达。因此,UDP通常不需要设置超时来避免阻塞。
Python 版本兼容性: 上述代码示例在Python 2.7和Python 3.x中均适用。super()函数的用法在Python 2.x中需要显式传入类名和实例,如super(SysLogHandlerWithTimeout, self).__init__(...),而在Python 3.x中可以直接使用super().__init__(...)。示例中使用了兼容Python 2.7的写法。
日志处理器的生命周期: 在实际应用中,logging.getLogger()返回的logger实例通常是单例的。确保SysLogHandler只被添加到logger一次。重复添加会导致日志消息被多次发送。在示例代码中,我们通过if not splunk_logger.handlers:进行了检查,以避免重复添加。
通过继承logging.handlers.SysLogHandler并重写createSocket方法,我们可以有效地为Python应用程序发送到远程Syslog服务器的日志操作添加超时机制。这不仅解决了在服务器无响应时程序无限期阻塞的问题,还通过更精细的异常处理提高了日志系统的鲁棒性。合理配置超时时间并结合健壮的错误处理,是构建可靠日志基础设施的关键一步。
以上就是优化 Python SysLogHandler:实现日志发送超时控制的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号