Golang如何实现高效文件哈希校验 使用xxhash与blake3算法优化

github.com/cespare/xxhash/v2

github.com/lukechampine/blake3

package main

import (
    "fmt"
    "io"
    "os"
    "time" // 用于计时
    "github.com/cespare/xxhash/v2" // xxhash
    "github.com/lukechampine/blake3" // blake3
)

// calculateHash 计算文件的哈希值
func calculateHash(filePath string, hashType string) (string, error) {
    file, err := os.Open(filePath)
    if err != nil {
        return "", fmt.Errorf("无法打开文件: %w", err)
    }
    defer file.Close()

    var hasher io.Writer
    switch hashType {
    case "xxhash":
        hasher = xxhash.New()
    case "blake3":
        hasher = blake3.New()
    default:
        return "", fmt.Errorf("不支持的哈希类型: %s", hashType)
    }

    // 推荐使用io.CopyBuffer来提升大文件I/O性能
    // 缓冲区大小可以根据实际情况调整，例如64KB或1MB
    buffer := make([]byte, 64*1024) // 64KB缓冲区
    if _, err := io.CopyBuffer(hasher, file, buffer); err != nil {
        return "", fmt.Errorf("读取文件并计算哈希时出错: %w", err)
    }

    if hashType == "xxhash" {
        return fmt.Sprintf("%x", hasher.(*xxhash.Digest).Sum64()), nil
    } else if hashType == "blake3" {
        return fmt.Sprintf("%x", hasher.(*blake3.Digest).Sum(nil)), nil
    }
    return "", nil // 不会到达这里
}

func main() {
    filePath := "large_file.bin" // 替换为你的大文件路径

    // 示例：创建或确保有一个大文件用于测试
    if _, err := os.Stat(filePath); os.IsNotExist(err) {
        fmt.Printf("创建测试文件 %s...\n", filePath)
        f, err := os.Create(filePath)
        if err != nil {
            fmt.Println("创建文件失败:", err)
            return
        }
        // 写入一些随机数据，例如1GB
        _, err = f.Write(make([]byte, 1024*1024*1024)) // 1GB
        if err != nil {
            fmt.Println("写入文件失败:", err)
            f.Close()
            return
        }
        f.Close()
        fmt.Println("测试文件创建完成。")
    }


    // 使用xxhash
    start := time.Now()
    xxh, err := calculateHash(filePath, "xxhash")
    if err != nil {
        fmt.Println("xxhash计算失败:", err)
    } else {
        fmt.Printf("文件 %s 的 xxhash: %s (耗时: %v)\n", filePath, xxh, time.Since(start))
    }

    // 使用blake3
    start = time.Now()
    b3h, err := calculateHash(filePath, "blake3")
    if err != nil {
        fmt.Println("blake3计算失败:", err)
    } else {
        fmt.Printf("文件 %s 的 blake3: %s (耗时: %v)\n", filePath, b3h, time.Since(start))
    }
}

io.CopyBuffer

io.CopyBuffer