Go语言文本去重：如何优化百万级文本文件的去重速度？

package distinct

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "strings"
)

//distinctfile 为指定文件去重
func distinctfile(file string, output string) {
    // 读取需要去重的文件内容
    f, err := os.Open(file)
    if err != nil {
        fmt.Println("Open file error:", err)
        return
    }
    defer f.Close() // 简化defer语句

    reader := bufio.NewReader(f)

    // 去重map，预分配容量，使用struct{}作为值类型
    set := make(map[string]struct{}, 750000) // 预分配与文件行数大致相同的容量
    var result strings.Builder

    for {
        line, isPrefix, err := reader.ReadLine()
        if err == io.EOF {
            break // 更清晰的EOF处理
        }
        if err != nil {
            fmt.Println("Readline error:", err)
            return
        }

        if !isPrefix {
            lineStr := string(line)
            if _, ok := set[lineStr]; !ok { // 更简洁的判断key是否存在
                result.WriteString(lineStr + "\n")
                set[lineStr] = struct{}{}
            }
        }
    }

    // 写入另一个文件
    nf, err := os.Create(output)
    if err != nil {
        fmt.Println("Create file error:", err)
        return
    }
    defer nf.Close()

    _, err = io.Copy(nf, strings.NewReader(result.String())) // 使用result.String()
    if err != nil {
        fmt.Println("Copy error:", err)
        return
    }
}