Go语言中ANSI编码文本到UTF-8的转换实践

go get golang.org/x/text

package main

import (
    "fmt"
    "io/ioutil"
    "strings"

    "golang.org/x/text/encoding/simplifiedchinese" // 用于处理GBK编码
    "golang.org/x/text/transform"                 // 用于进行字节转换
)

// DecodeGBKToUTF8 将GBK编码的字节数组解码为UTF-8编码的字符串
func DecodeGBKToUTF8(gbkBytes []byte) (string, error) {
    // 获取GBK解码器
    decoder := simplifiedchinese.GBK.NewDecoder()

    // 使用transform.NewReader进行转换
    // transform.NewReader返回一个io.Reader，它在读取时会自动进行编码转换
    reader := transform.NewReader(strings.NewReader(string(gbkBytes)), decoder)

    // 读取转换后的所有字节
    utf8Bytes, err := ioutil.ReadAll(reader)
    if err != nil {
        return "", fmt.Errorf("读取转换后的字节失败: %w", err)
    }

    // 将UTF-8字节数组转换为Go字符串
    return string(utf8Bytes), nil
}

// DecodeGBKToUTF8Bytes 另一种更直接的字节数组转换方法
func DecodeGBKToUTF8Bytes(gbkBytes []byte) ([]byte, error) {
    // 获取GBK解码器
    decoder := simplifiedchinese.GBK.NewDecoder()

    // 使用decoder.Bytes()直接转换字节数组
    // Bytes方法会处理输入字节数组并返回转换后的字节数组
    utf8Bytes, _, err := decoder.Transform(make([]byte, len(gbkBytes)*2), gbkBytes, true) // 预分配足够大的缓冲区
    if err != nil {
        return nil, fmt.Errorf("GBK到UTF-8转换失败: %w", err)
    }
    return utf8Bytes, nil
}


func main() {
    // 模拟一个GBK编码的字符串（例如“你好，世界！”的GBK编码）
    // 注意：在Go源代码中直接写非UTF-8字符可能导致编译问题，这里使用字节字面量模拟
    // "你好，世界！" 的GBK编码是 D6D0 BAC3 CADC BFEA A1A3 C4C3 B0EC A3A1
    gbkData := []byte{0xD6, 0xD0, 0xBA, 0xC3, 0xCA, 0xDC, 0xBF, 0xEA, 0xA1, 0xA3, 0xC4, 0xC3, 0xB0, 0xEC, 0xA3, 0xA1}

    fmt.Printf("原始GBK字节: %x\n", gbkData)
    fmt.Printf("直接转换为字符串（可能乱码）: %s\n", string(gbkData)) // 演示直接转换的乱码情况

    // 使用第一种方法转换
    utf8String, err := DecodeGBKToUTF8(gbkData)
    if err != nil {
        fmt.Printf("转换失败: %v\n", err)
    } else {
        fmt.Printf("转换后的UTF-8字符串 (方法一): %s\n", utf8String)
    }

    // 使用第二种方法转换
    utf8Bytes, err := DecodeGBKToUTF8Bytes(gbkData)
    if err != nil {
        fmt.Printf("转换失败: %v\n", err)
    } else {
        fmt.Printf("转换后的UTF-8字符串 (方法二): %s\n", string(utf8Bytes))
    }

    // 另一个例子：Windows-1252到UTF-8 (例如欧元符号€)
    // 需要导入 "golang.org/x/text/encoding/charmap"
    // euroSymbolWin1252 := []byte{0x80} // Windows-1252中0x80是€
    // decoderWin1252 := charmap.Windows1252.NewDecoder()
    // readerWin1252 := transform.NewReader(bytes.NewReader(euroSymbolWin1252), decoderWin1252)
    // utf8Euro, _ := ioutil.ReadAll(readerWin1252)
    // fmt.Printf("Windows-1252 (€) 转换为UTF-8: %s\n", string(utf8Euro))
}