问题分析：默认行为的局限性
在python的日志模块中，sysloghandler是用于将日志发送到远程syslog服务器的重要组件。当配置为使用tcp协议（即socktype=socket.sock_stream）时，sysloghandler会建立一个持久的tcp连接来发送日志。然而，在默认实现中，如果远程syslog服务器因网络故障、服务宕机或防火墙问题而无法响应，sysloghandler尝试发送日志的操作可能会无限期地等待，导致应用程序阻塞，甚至影响整个系统的稳定性。尤其是在python 2.7等较旧版本中，sysloghandler的构造函数并未提供直接设置socket连接超时的参数，这使得问题更加突出。
解决方案：自定义 SysLogHandler 实现超时控制
解决SysLogHandler阻塞问题的核心在于为其底层的socket连接设置一个合理的超时时间。由于SysLogHandler没有直接暴露设置超时的方法，我们需要通过继承SysLogHandler并重写其内部的createSocket方法来实现。
createSocket方法是SysLogHandler内部用于创建并返回用于日志传输的socket对象的关键方法。通过重写此方法，我们可以在socket创建完成后，但在其被用于连接或发送数据之前，为其配置超时参数。
实现步骤与示例代码
定义自定义处理器类： 创建一个新的类，例如SysLogHandlerWithTimeout，继承自logging.handlers.SysLogHandler。
重写 createSocket 方法： 在该方法中，首先调用父类的createSocket方法来执行默认的socket创建逻辑。然后，通过访问self.socket获取到已创建的socket对象，并使用self.socket.settimeout()方法设置连接和发送操作的超时时间。
以下是实现这一机制的示例代码：
import logging
import logging.handlers
import socket
import sys
import time
# 假设 SyslogServer 和 SyslogPort 是全局变量或配置项
SyslogServer = '127.0.0.1' # 替换为你的Syslog服务器地址
SyslogPort = 514 # 替换为你的Syslog服务器端口
# 定义一个字典来存储logger实例，避免重复创建
loggers = {}
class SysLogHandlerWithTimeout(logging.handlers.SysLogHandler):
"""
自定义SysLogHandler，用于在socket连接上设置超时。
"""
def __init__(self, address, socktype=socket.SOCK_DGRAM, timeout=10):
super(SysLogHandlerWithTimeout, self).__init__(address, socktype)
self.timeout = timeout
def createSocket(self):
"""
重写createSocket方法，在创建socket后设置超时。
"""
# 调用父类的createSocket方法，创建socket
super(SysLogHandlerWithTimeout, self).createSocket()
# 设置socket的超时时间
if self.socket:
self.socket.settimeout(self.timeout)
# print("Socket timeout set to: %s seconds" % self.timeout) # 调试信息
def writeSyslog (mtype, msg):
"""
发送消息/日志到Syslog服务器
"""
try:
global loggers
logger_name = 'SplunkLogger' # 统一使用一个logger名称
if logger_name in loggers:
splunk_logger = loggers.get(logger_name)
else:
# 使用我们自定义的带有超时功能的SysLogHandler
# 注意：这里socktype=socket.SOCK_STREAM是为了TCP连接，与原问题一致
handler = SysLogHandlerWithTimeout(
address=(SyslogServer, SyslogPort),
socktype=socket.SOCK_STREAM,
timeout=5 # 设置5秒的超时时间
)
formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
handler.setFormatter(formatter)
splunk_logger = logging.getLogger(logger_name)
# 确保logger只添加一次handler，避免重复日志
if not splunk_logger.handlers:
splunk_logger.addHandler(handler)
splunk_logger.setLevel(logging.DEBUG) # 设置日志级别
loggers[logger_name] = splunk_logger
# 根据mtype发送不同级别的日志
if "emerg" in mtype:
splunk_logger.emergency(msg)
elif "alert" in mtype:
splunk_logger.alert(msg)
elif "crit" in mtype:
splunk_logger.critical(msg)
elif "err" in mtype:
splunk_logger.error(msg)
elif "warn" in mtype:
splunk_logger.warning(msg)
elif "notice" in mtype:
splunk_logger.notice(msg)
elif "info" in mtype:
splunk_logger.info(msg)
else:
splunk_logger.debug(msg)
except socket.timeout:
sys.stdout.write("\t\tSyslog failed due to timeout when sending to %s:%d\n" % (SyslogServer, SyslogPort))
except socket.error as e:
sys.stdout.write("\t\tSyslog failed sending to %s:%d - Socket Error: %s\n" % (SyslogServer, SyslogPort, e))
except Exception as e:
sys.stdout.write("\t\tSyslog failed sending to %s:%d - General Error: %s\n" % (SyslogServer, SyslogPort, e))
# 示例调用
if __name__ == "__main__":
print("尝试发送日志到Syslog服务器...")
# 模拟Syslog服务器不可用（例如，不启动一个服务器监听该端口）
# 或者启动一个简单的服务器来观察正常情况
# 正常发送日志
writeSyslog("info", "这是一条信息日志。")
time.sleep(1)
writeSyslog("warn", "这是一条警告日志。")
time.sleep(1)
# 模拟服务器无响应（如果服务器不存在或关闭，则会触发超时）
# 请确保 SyslogServer 和 SyslogPort 指向一个不会响应的地址或端口来测试超时
print("\n模拟服务器无响应，等待超时...")
SyslogServer = '127.0.0.1' # 假设这个地址没有Syslog服务器监听
SyslogPort = 5145 # 假设这个端口没有Syslog服务器监听
# 需要清除旧的logger handler，以便重新创建带有新地址的handler
if 'SplunkLogger' in loggers:
for handler in loggers['SplunkLogger'].handlers[:]:
loggers['SplunkLogger'].removeHandler(handler)
del loggers['SplunkLogger']
start_time = time.time()
writeSyslog("err", "这是一条错误日志，预期会超时。")
end_time = time.time()
print("日志发送尝试结束，耗时：%.2f 秒" % (end_time - start_time))
# 恢复到可能的正常地址（如果需要）
SyslogServer = '127.0.0.1'
SyslogPort = 514
if 'SplunkLogger' in loggers:
for handler in loggers['SplunkLogger'].handlers[:]:
loggers['SplunkLogger'].removeHandler(handler)
del loggers['SplunkLogger']
writeSyslog("info", "这是超时后的又一条信息日志。")注意事项
-
超时值的选择：timeout参数的设置至关重要。一个过短的超时时间可能导致在网络暂时拥堵时误判服务器无响应；而一个过长的超时时间则会削弱超时机制的意义。通常，5到15秒是一个合理的初始范围，具体值应根据网络环境、服务器响应速度以及业务对日志实时性的要求进行调整。
立即学习“Python免费学习笔记（深入）”；
异常处理： 在writeSyslog函数中，我们已经添加了try...except块来捕获可能发生的异常。特别地，当socket操作超时时，会抛出socket.timeout异常。捕获此异常可以使程序在检测到超时后优雅地处理，例如记录错误信息、切换到本地日志文件或尝试重新连接。除了socket.timeout，还应考虑捕获更通用的socket.error或其他Exception，以增强程序的健壮性。
socktype 参数： 本教程的解决方案主要针对使用TCP协议（socktype=socket.SOCK_STREAM）的SysLogHandler。对于UDP协议（socktype=socket.SOCK_DGRAM），由于UDP是无连接的，发送操作通常不会阻塞，但无法保证消息的送达。因此，UDP通常不需要设置超时来避免阻塞。
Python 版本兼容性： 上述代码示例在Python 2.7和Python 3.x中均适用。super()函数的用法在Python 2.x中需要显式传入类名和实例，如super(SysLogHandlerWithTimeout, self).__init__(...)，而在Python 3.x中可以直接使用super().__init__(...)。示例中使用了兼容Python 2.7的写法。
日志处理器的生命周期： 在实际应用中，logging.getLogger()返回的logger实例通常是单例的。确保SysLogHandler只被添加到logger一次。重复添加会导致日志消息被多次发送。在示例代码中，我们通过if not splunk_logger.handlers:进行了检查，以避免重复添加。
总结
通过继承logging.handlers.SysLogHandler并重写createSocket方法，我们可以有效地为Python应用程序发送到远程Syslog服务器的日志操作添加超时机制。这不仅解决了在服务器无响应时程序无限期阻塞的问题，还通过更精细的异常处理提高了日志系统的鲁棒性。合理配置超时时间并结合健壮的错误处理，是构建可靠日志基础设施的关键一步。
