
本文讲解如何解决 go 调用 python 子进程时因标准输出缓冲导致无法实时读取输出的问题,通过在 python 端显式刷新 stdout,并优化 go 端的管道读取与文件写入逻辑,实现稳定、低延迟的日志采集。
在 Go 中通过 os/exec 启动外部命令(如 Python 脚本)并实时读取其输出,是构建监控系统、日志采集器或自动化运维工具的常见需求。但实践中常遇到“Go 一直阻塞在 scanner.Scan(),迟迟收不到输出”的问题——根本原因在于:Python 的 print() 默认启用行缓冲(line buffering),而当 stdout 连接到管道(非终端)时,会自动切换为全缓冲(full buffering),导致输出暂存于内存中,不主动刷新到管道。
因此,仅靠 Go 端等待是无效的;必须协同修复两端:
✅ Python 端:强制刷新 stdout
修改 t.py,在每次 print 后添加 stdout.flush():
import time
from sys import stdout
i = 0
while True:
print(i)
stdout.flush() # 关键:确保立即写入管道
time.sleep(1)
i += 1⚠️ 补充说明:也可用 print(i, flush=True)(Python 3.3+),效果等价。
✅ Go 端:修复资源泄漏与逻辑缺陷
原代码存在两个关键问题:
- 每次循环都调用 os.Create("./temp.txt") —— 会截断重写文件,仅保留最后一行;
- 未检查 scanner.Err(),忽略 I/O 错误;
- 未等待子进程退出(cmd.Wait() 缺失),可能导致僵尸进程。
以下是健壮、生产就绪的 test.go 改写版本:
立即学习“Python免费学习笔记(深入)”;
package main
import (
"bufio"
"fmt"
"os"
"os/exec"
"time"
)
func main() {
cmd := exec.Command("python", "t.py")
stdout, err := cmd.StdoutPipe()
if err != nil {
fmt.Fprintf(os.Stderr, "failed to get stdout pipe: %v\n", err)
return
}
if err := cmd.Start(); err != nil {
fmt.Fprintf(os.Stderr, "failed to start command: %v\n", err)
return
}
defer cmd.Wait() // 确保子进程终止
// 追加模式打开文件,避免覆盖
f, err := os.OpenFile("./temp.txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
if err != nil {
fmt.Fprintf(os.Stderr, "failed to open output file: %v\n", err)
return
}
defer f.Close()
scanner := bufio.NewScanner(stdout)
for scanner.Scan() {
line := scanner.Text()
// 添加时间戳便于调试与监控
timestamp := time.Now().Format("2006-01-02 15:04:05")
_, _ = fmt.Fprintf(f, "[%s] %s\n", timestamp, line)
}
// 检查扫描错误(如管道关闭、I/O 失败)
if err := scanner.Err(); err != nil {
fmt.Fprintf(os.Stderr, "scanner error: %v\n", err)
}
fmt.Println("Monitoring stopped.")
}? 关键改进点总结:
- 使用 os.OpenFile(..., os.O_APPEND) 实现追加写入,保障历史数据不丢失;
- defer cmd.Wait() 防止子进程残留;
- 错误统一输出到 os.Stderr,符合 Unix 哲学;
- 加入时间戳,提升日志可追溯性;
- 显式检查 scanner.Err(),及时发现管道异常中断。
? 进阶建议:
- 若需更高性能(如高频写入),可用 bufio.NewWriter(f) 包装文件并定期 Flush();
- 对于长期运行的监控任务,建议增加信号处理(如捕获 SIGINT 安全退出);
- 生产环境推荐使用结构化日志库(如 zap)替代 fmt.Fprintf。
遵循以上方案,即可实现 Go 对 Python 流式输出的可靠、实时、可持续监控。










