Go语言中高效地原地编辑大型文本文件

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "path/filepath"
    "strconv"
    "strings"
)

// EditFileInPlaceFunc 是一个通用的函数，用于原地编辑文件。
// filePath: 待编辑的文件路径。
// lineModifier: 一个函数，接收当前行内容和行号，返回修改后的行内容和是否进行了修改。
//               如果返回true，则表示该行已被修改，否则保持原样。
func EditFileInPlaceFunc(filePath string, lineModifier func(line string, lineNum int) (string, bool)) error {
    // 1. 打开原始文件进行读取
    originalFile, err := os.Open(filePath)
    if err != nil {
        return fmt.Errorf("无法打开原始文件 %s: %w", filePath, err)
    }
    defer originalFile.Close() // 确保文件关闭

    // 2. 创建临时文件进行写入
    // 获取原始文件所在目录，用于创建临时文件
    dir := filepath.Dir(filePath)
    // 使用 os.CreateTemp 创建一个唯一的临时文件
    tempFile, err := os.CreateTemp(dir, "temp_edit_*.txt")
    if err != nil {
        return fmt.Errorf("无法创建临时文件: %w", err)
    }
    // 确保临时文件在函数退出时被删除，除非成功重命名
    defer func() {
        if err != nil { // 如果函数返回错误，则清理临时文件
            _ = os.Remove(tempFile.Name())
        }
    }()
    defer tempFile.Close() // 确保临时文件关闭

    // 使用 bufio.Scanner 读取原始文件
    scanner := bufio.NewScanner(originalFile)
    // 使用 bufio.Writer 写入临时文件
    writer := bufio.NewWriter(tempFile)

    lineNum := 0
    for scanner.Scan() {
        lineNum++
        currentLine := scanner.Text()
        modifiedLine, changed := lineModifier(currentLine, lineNum)

        // 写入修改后的行（如果修改了）或原始行
        if changed {
            _, err = writer.WriteString(modifiedLine + "\n")
        } else {
            _, err = writer.WriteString(currentLine + "\n")
        }
        if err != nil {
            return fmt.Errorf("写入临时文件失败: %w", err)
        }
    }

    if err := scanner.Err(); err != nil {
        return fmt.Errorf("读取原始文件失败: %w", err)
    }

    // 确保所有缓冲内容都写入到临时文件
    if err := writer.Flush(); err != nil {
        return fmt.Errorf("刷新写入器失败: %w", err)
    }

    // 3. 原子性替换：将临时文件重命名为原始文件
    if err := os.Rename(tempFile.Name(), filePath); err != nil {
        return fmt.Errorf("重命名临时文件失败: %w", err)
    }

    return nil
}

func main() {
    // 创建一个测试文件
    testFilePath := "large_test_file.txt"
    createTestFile(testFilePath, 100000) // 创建一个包含10万行的文件

    fmt.Printf("开始编辑文件: %s\n", testFilePath)

    // 示例：修改第50000行
    err := EditFileInPlaceFunc(testFilePath, func(line string, lineNum int) (string, bool) {
        if lineNum == 50000 {
            return "这是修改后的第50000行内容，新内容可能更长或更短。", true
        }
        return line, false
    })

    if err != nil {
        fmt.Printf("文件编辑失败: %v\n", err)
    } else {
        fmt.Printf("文件编辑成功: %s\n", testFilePath)
        // 验证修改
        fmt.Println("验证修改后的内容:")
        verifyLine(testFilePath, 50000)
    }

    // 示例2：修改所有包含特定字符串的行
    fmt.Printf("\n开始编辑文件: %s (修改所有包含'example'的行)\n", testFilePath)
    err = EditFileInPlaceFunc(testFilePath, func(line string, lineNum int) (string, bool) {
        if strings.Contains(line, "example") {
            return fmt.Sprintf("修改后的行 %d: %s (替换了example)", lineNum, line), true
        }
        return line, false
    })

    if err != nil {
        fmt.Printf("文件编辑失败: %v\n", err)
    } else {
        fmt.Printf("文件编辑成功: %s\n", testFilePath)
        // 验证修改
        fmt.Println("验证修改后的内容:")
        verifyLine(testFilePath, 1) // 假设第一行包含"example"
    }

    // 清理测试文件
    // os.Remove(testFilePath)
}

// createTestFile 用于生成一个大型测试文件
func createTestFile(filePath string, numLines int) {
    file, err := os.Create(filePath)
    if err != nil {
        panic(err)
    }
    defer file.Close()

    writer := bufio.NewWriter(file)
    for i := 1; i <= numLines; i++ {
        line := fmt.Sprintf("这是文件中的第 %d 行内容，包含一些示例文本 example %d。", i, i)
        _, _ = writer.WriteString(line + "\n")
    }
    _ = writer.Flush()
    fmt.Printf("已创建测试文件 %s，共 %d 行。\n", filePath, numLines)
}

// verifyLine 用于验证特定行的内容
func verifyLine(filePath string, targetLineNum int) {
    file, err := os.Open(filePath)
    if err != nil {
        fmt.Printf("无法打开文件进行验证: %v\n", err)
        return
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    lineNum := 0
    for scanner.Scan() {
        lineNum++
        if lineNum == targetLineNum {
            fmt.Printf("第 %d 行内容: %s\n", targetLineNum, scanner.Text())
            return
        }
        if lineNum > targetLineNum { // 优化：如果超过目标行，就没必要继续扫描了
            break
        }
    }
    if err := scanner.Err(); err != nil {
        fmt.Printf("验证时读取文件失败: %v\n", err)
    }
    if lineNum < targetLineNum {
        fmt.Printf("文件不足 %d 行。\n", targetLineNum)
    }
}