答案：Go语言通过lumberjack实现日志轮转，结合bufio和regexp进行日志读取与解析，支持多文件合并分析，并建议使用缓冲、校验及goroutine提升性能。
在Go语言开发中，文件IO日志收集与分析是监控系统运行状态、排查问题的重要手段。通过合理设计日志写入和读取机制，可以实现高效、可靠的数据追踪。下面是一个简单的Golang日志收集与分析示例，涵盖日志写入、轮转、读取与基础分析功能。
1. 日志写入与按大小轮转
使用标准库os和io进行文件写入，并结合第三方库lumberjack实现自动轮转。
安装lumberjack：
go get github.com/natefinch/lumberjack/v3日志写入配置示例：
立即学习“go语言免费学习笔记（深入）”；
package mainimport (
"log"
"github.com/natefinch/lumberjack/v3"
)
func main() {
logger := log.New(&lumberjack.Logger{
Filename: "logs/app.log",
MaxSize: 1, // MB
MaxBackups: 3,
MaxAge: 7, // days
Compress: true,
}, "", log.LstdFlags)
for i := 0; i logger.Printf("Info: Request processed ID=%d", i)
}
}
上述代码将日志写入logs/app.log，当日志文件超过1MB时自动归档，最多保留3个备份。
2. 实时日志读取与解析
实现一个简单的日志分析器，读取日志文件并提取关键信息（如请求ID）。
package main
import (
"bufio"
"fmt"
"os"
"regexp"
)
func analyzeLog(filePath string) {
file, err := os.Open(filePath)
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
idPattern := regexp.MustCompile(`ID=(\d+)`)
count := 0
for scanner.Scan() {
line := scanner.Text()
if matches := idPattern.FindStringSubmatch(line); matches != nil {
id := matches[1]
fmt.Printf("Found request ID: %s\n", id)
count++
}
}
fmt.Printf("Total requests found: %d\n", count)
}
该函数打开指定日志文件，逐行扫描，使用正则表达式提取ID=xxx字段，并统计总数。
3. 多文件日志合并分析
当存在多个日志文件（如app.log、app.log.1等），可批量处理进行统一分析。
import "path/filepath"func analyzeAllLogs(pattern string) {
files, _ := filepath.Glob(pattern) // e.g., "logs/app.log*"
totalCount := 0
for _, f := range files {
fmt.Printf("Analyzing %s...\n", f)
file, _ := os.Open(f)
scanner := bufio.NewScanner(file)
idPattern := regexp.MustCompile(`ID=(\d+)`)
for scanner.Scan() {
if matches := idPattern.FindStringSubmatch(scanner.Text()); matches != nil {
totalCount++
}
}
file.Close()
}
fmt.Printf("Total requests across all logs: %d\n", totalCount)
}
使用filepath.Glob匹配所有相关日志文件，遍历内容完成聚合统计。
4. 性能与错误处理建议
实际应用中需注意以下几点：
- 大文件读取时使用缓冲（如bufio.Scanner）避免内存溢出
- 对文件路径、权限、编码做校验
- 长时间运行的服务应使用channel或goroutine异步处理日志分析任务
- 可结合fsnotify监听日志目录变化，实现准实时分析
基本上就这些。通过组合标准库与常用工具包，Golang能轻松实现稳定高效的日志IO与分析流程。不复杂但容易忽略细节，比如轮转策略和正则性能，实际部署前建议压测验证。
