Golang如何使用 bufio 处理大文件_Golang bufio 缓冲 I/O 读取与写入技巧

file, err := os.Open("large.log")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

reader := bufio.NewReader(file)
for {
    line, err := reader.ReadString('\n')
    if err != nil && err != io.EOF {
        log.Fatal(err)
    }

    // 处理每一行
    processLine(line)

    if err == io.EOF {
        break
    }
}

buf := make([]byte, 4096)
for {
    n, err := reader.Read(buf)
    if err != nil && err != io.EOF {
        log.Fatal(err)
    }
    if n == 0 {
        break
    }

    // 处理 buf[:n]
    processData(buf[:n])
}

file, err := os.Open("large.log")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
// 可选：设置更大的缓冲区以支持超长行
buf := make([]byte, 0, 64*1024)
scanner.Buffer(buf, 1024*1024) // 最大行长度 1MB

for scanner.Scan() {
    line := scanner.Text()
    processLine(line)
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

file, err := os.Create("output.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

writer := bufio.NewWriter(file)
data := []string{"line1", "line2", "line3"}

for _, line := range data {
    fmt.Fprintln(writer, line) // 写入缓冲区
}

// 必须调用 Flush，确保所有数据写入磁盘
if err := writer.Flush(); err != nil {
    log.Fatal(err)
}

writer := bufio.NewWriter(file)
defer writer.Flush()