Go语言在Windows平台下高效检测文件编码的实用指南

go get github.com/saintfish/chardet

package main

import (
    "fmt"
    "io/ioutil" // 在Go 1.16+版本中，推荐使用 os.ReadFile
    "os"
    "path/filepath"

    "github.com/saintfish/chardet"
)

// check 是一个简单的错误处理函数
func check(e error) {
    if e != nil {
        // 在实际应用中，应避免使用 panic，而是返回错误或进行更优雅的错误处理
        panic(e) 
    }
}

func main() {
    // 1. 创建一个示例文件用于测试
    // 假设我们有一个名为 "example.txt" 的文件，内容为 "你好，世界！"
    // 为了演示，我们先创建一个UTF-8编码的文件
    fileName := "example.txt"
    content := []byte("你好，世界！") // 默认Go字符串是UTF-8编码

    // 将内容写入文件
    err := ioutil.WriteFile(fileName, content, 0644)
    check(err)
    fmt.Printf("已创建测试文件: %s (内容: %s)\n", fileName, string(content))

    // 2. 读取文件内容
    // 在Go 1.16+版本中，推荐使用 os.ReadFile
    // dat, err := os.ReadFile(fileName)
    dat, err := ioutil.ReadFile(fileName) 
    check(err)

    // 3. 初始化字符集检测器
    detector := chardet.NewTextDetector()

    // 4. 执行编码检测
    // DetectBest 方法会返回一个最佳匹配的字符集结果
    result, err := detector.DetectBest(dat)
    if err != nil {
        fmt.Printf("检测编码时发生错误: %v\n", err)
        return
    }

    // 5. 输出检测结果
    if result != nil {
        fmt.Printf("检测到的字符集是: %s (置信度: %.2f%%)\n", result.Charset, result.Confidence)
        // 尝试使用检测到的编码解码（如果需要）
        // 注意：chardet只提供检测，不提供解码功能。解码需要结合其他库如golang.org/x/text/encoding
    } else {
        fmt.Println("未能检测到文件编码。")
    }

    // 演示检测一个假设为ISO-8859-1编码的文件
    // 注意：这里只是模拟，实际文件需要确实是ISO-8859-1编码
    isoFileName := "iso_example.txt"
    isoContent := []byte{0xC4, 0xBB, 0xCB, 0xB5, 0xA1, 0xA2, 0xC8, 0xCB, 0xBD, 0xE7, 0xA3, 0xA1} // 模拟ISO-8859-1编码的 "你好，世界！"
    err = ioutil.WriteFile(isoFileName, isoContent, 0644)
    check(err)
    fmt.Printf("\n已创建测试文件: %s (模拟ISO-8859-1编码)\n", isoFileName)

    isoDat, err := ioutil.ReadFile(isoFileName)
    check(err)

    isoResult, err := detector.DetectBest(isoDat)
    if err != nil {
        fmt.Printf("检测ISO文件编码时发生错误: %v\n", err)
        return
    }

    if isoResult != nil {
        fmt.Printf("检测到的ISO文件字符集是: %s (置信度: %.2f%%)\n", isoResult.Charset, isoResult.Confidence)
    } else {
        fmt.Println("未能检测到ISO文件编码。")
    }

    // 清理测试文件
    os.Remove(fileName)
    os.Remove(isoFileName)
}

已创建测试文件: example.txt (内容: 你好，世界！)
检测到的字符集是: UTF-8 (置信度: 100.00%)

已创建测试文件: iso_example.txt (模拟ISO-8859-1编码)
检测到的ISO文件字符集是: ISO-8859-1 (置信度: 99.00%)