PHP实现的日志收集系统

这篇文章主要介绍了关于PHP实现的日志收集系统 ，有着一定的参考价值，现在分享给大家，有需要的朋友可以参考一下

    最近业务中涉及到远程服务器的日志收集需求, 出于限制技术栈扩大的想法,使用php进行了实现.

    实现过程中有些小小需要注意的点,记录如下:

1. 主动获取. 由于服务器较多, 如果使用Flume之类的架构, 需要在每台服务器上安装软件, 这就产生了运维成本 . 所以我们使用 收集端主动获取的方式. 不需要在生产者(服务端)安装软件.

2.SSH连接. 每台服务器都配置了SSH连接权限,使用PHP的 ssh2扩展即可远程连接并访问服务器内容.

3.服务器日志结构统一.  每台服务器上的日志文件都按同一目录 规则放置,以简化程序逻辑.

立即学习“PHP免费学习笔记（深入）”；

4.CLI运行. 收集是持续运行的程序,使用CLI模式,要注意,此时所使用的INI文件问题.

5.SSH连接异常.  有时,由于网络问题,导致SSH连接或验证失败, 延时重试即可.

6.日志截断与压缩. 通常,我们的运维会在每天的固定时间对日志进行截断和压缩, 这就有了两种类型的文件需要读取:压缩与未压缩的日志, 需要分别处理.

7.日志中的时间戳. 以秒为单位 的时间戳不足以区分请求, 我们增加$msec以毫秒计量, 同一毫秒内,同一IP来源,同一UA的可以认为是一个请求.

8.读取目录.  使用readdir即可读取SSH格式的远程目录, readdir("ssh2.sft://......"); 过滤掉不需要的文件后, 按文件创建时间排序,逐个处理.

9.读取压缩文件. 如果用file_get_contents会导致界面长期无响应, 我使用了fopen, fread 分步读取. 一次读取8K(再大也没有用了).  每读取一定次数后,输出一个进度显示.

10.压缩文件缓存. 读取成功后, 保存到缓存目录 , 以便备份以及下次使用. 如果程序出错或重新运行时, 先检查缓存目录, 如果有缓存文件,就不用从网络上读取了.

11.解压缩. 使用gzdecode即可. 这会导致PHP内存需要暴增, 调整PHP.INI吧, 把内存限制扩大.

集简云

软件集成平台，快速建立企业自动化与智能化

22

查看详情

12.压缩日志处理完成记录. 处理完成一个压缩文件后, 在数据库中记录下来, 以后PHP程序运行后,就不用重复处理了.

13.未压缩日志处理. 未压缩的日志表明,此日志仍在增长中. 不需要缓存. 使用数据库记录,当前文件指针(使用ftell,fseek). 记录文件创建日期.

14.未压缩日志判断. 当文件日期与记录的日期不同时, 或文件小于记录中的文件大小, 说明 此文件被更新了, 需要重置文件指针.

    否则可以直接定位(fseek),以继续从上次处理的位置进行.

15.日志行分解. 使用正则即可,根据空格及定界符进行区分. 也可使用logParser第三方类库来处理. 为节省内存开销.可使用Iterator 协程模式, 逐行返回.

16.日志判重. 事先读取每个服务器的最后 日志时间戳(毫秒)以及IP,UA. 

17.日志保存. 我是使用了MYSQL来保存日志. 每一行日志执行一次MYSQL会极大浪费运行时间, 可以累积4000行再一次性插入.

18.错误处理. 除了SSH连接失败外, 还会读取半行日志,导致分解失败, 此时也抛出异常. 由主程序捕获,并重新运行即可.

相关推荐：

php输出日志

php 写入日志函数

php实现一个日志功能

以上就是PHP实现的日志收集系统 的详细内容，更多请关注php中文网其它相关文章！