Golang 文件IO日志收集与分析示例-Golang-PHP中文网

Golang 文件IO日志收集与分析示例

P粉602998670

发布： 2025-10-05 11:05:02

原创

269人浏览过

答案：Go语言通过lumberjack实现日志轮转，结合bufio和regexp进行日志读取与解析，支持多文件合并分析，并建议使用缓冲、校验及goroutine提升性能。

golang 文件io日志收集与分析示例

在Go语言开发中，文件IO日志收集与分析是监控系统运行状态、排查问题的重要手段。通过合理设计日志写入和读取机制，可以实现高效、可靠的数据追踪。下面是一个简单的Golang日志收集与分析示例，涵盖日志写入、轮转、读取与基础分析功能。

1. 日志写入与按大小轮转

使用标准库os和io进行文件写入，并结合第三方库lumberjack实现自动轮转。

安装lumberjack：

go get github.com/natefinch/lumberjack/v3

日志写入配置示例：

立即学习“go语言免费学习笔记（深入）”；

package main

import (
  "log"
  "github.com/natefinch/lumberjack/v3"
)

func main() {
  logger := log.New(&lumberjack.Logger{
    Filename: "logs/app.log",
    MaxSize: 1, // MB
    MaxBackups: 3,
    MaxAge: 7, // days
    Compress: true,
  }, "", log.LstdFlags)

  for i := 0; i < 1000; i++ {
    logger.Printf("Info: Request processed ID=%d", i)
  }
}

上述代码将日志写入logs/app.log，当日志文件超过1MB时自动归档，最多保留3个备份。

2. 实时日志读取与解析

实现一个简单的日志分析器，读取日志文件并提取关键信息（如请求ID）。

集简云

软件集成平台，快速建立企业自动化与智能化

查看详情

package main

import (
  "bufio"
  "fmt"
  "os"
  "regexp"
)

func analyzeLog(filePath string) {
  file, err := os.Open(filePath)
  if err != nil {
    log.Fatal(err)
  }
  defer file.Close()

  scanner := bufio.NewScanner(file)
  idPattern := regexp.MustCompile(`ID=(\d+)`)
  count := 0

  for scanner.Scan() {
    line := scanner.Text()
    if matches := idPattern.FindStringSubmatch(line); matches != nil {
      id := matches[1]
      fmt.Printf("Found request ID: %s\n", id)
      count++
    }
  }

  fmt.Printf("Total requests found: %d\n", count)
}

该函数打开指定日志文件，逐行扫描，使用正则表达式提取ID=xxx字段，并统计总数。

3. 多文件日志合并分析

当存在多个日志文件（如app.log、app.log.1等），可批量处理进行统一分析。

import "path/filepath"

func analyzeAllLogs(pattern string) {
  files, _ := filepath.Glob(pattern) // e.g., "logs/app.log*"
  totalCount := 0

  for _, f := range files {
    fmt.Printf("Analyzing %s...\n", f)
    file, _ := os.Open(f)
    scanner := bufio.NewScanner(file)
    idPattern := regexp.MustCompile(`ID=(\d+)`)

    for scanner.Scan() {
      if matches := idPattern.FindStringSubmatch(scanner.Text()); matches != nil {
        totalCount++
      }
    }
    file.Close()
  }

  fmt.Printf("Total requests across all logs: %d\n", totalCount)
}

使用filepath.Glob匹配所有相关日志文件，遍历内容完成聚合统计。