Go语言中非UTF-8编码文本（如ANSI）到UTF-8的转换实践

go get golang.org/x/text

package main

import (
    "fmt"
    "io/ioutil"
    "strings"

    "golang.org/x/text/encoding/simplifiedchinese" // 用于处理GBK/GB2312等简体中文编码
    "golang.org/x/text/transform"                  // 转换器接口
)

// DecodeGBKToUTF8 将GBK编码的字节切片解码为UTF-8字符串
func DecodeGBKToUTF8(gbkBytes []byte) (string, error) {
    // 创建一个GBK解码器
    decoder := simplifiedchinese.GBK.NewDecoder()
    // 使用 transform.NewReader 将解码器应用于字节流
    reader := transform.NewReader(strings.NewReader(string(gbkBytes)), decoder)
    // 读取解码后的所有字节
    utf8Bytes, err := ioutil.ReadAll(reader)
    if err != nil {
        return "", fmt.Errorf("解码GBK失败: %w", err)
    }
    return string(utf8Bytes), nil
}

// DecodeWindows1252ToUTF8 将Windows-1252编码的字节切片解码为UTF-8字符串
// Windows-1252是西方语言环境下常见的“ANSI”编码
import (
    "golang.org/x/text/encoding/charmap" // 用于处理Windows-1252等单字节编码
)

func DecodeWindows1252ToUTF8(cp1252Bytes []byte) (string, error) {
    // 创建一个Windows-1252解码器
    decoder := charmap.Windows1252.NewDecoder()
    reader := transform.NewReader(strings.NewReader(string(cp1252Bytes)), decoder)
    utf8Bytes, err := ioutil.ReadAll(reader)
    if err != nil {
        return "", fmt.Errorf("解码Windows-1252失败: %w", err)
    }
    return string(utf8Bytes), nil
}

func main() {
    // 示例1：GBK编码的中文文本
    // 假设这些字节是某个GBK编码的文件内容
    gbkData := []byte{0xC4, 0xE3, 0xBA, 0xC3, 0xCA, 0xC0, 0xBD, 0xE7, 0xA3, 0xA1} // "你好，世界！" 的GBK编码
    utf8Str, err := DecodeGBKToUTF8(gbkData)
    if err != nil {
        fmt.Printf("GBK转换错误: %v\n", err)
    } else {
        fmt.Printf("GBK原文 (字节): %x\n", gbkData)
        fmt.Printf("UTF-8转换后: %s\n", utf8Str) // 输出: 你好，世界！
    }

    fmt.Println("--------------------")

    // 示例2：Windows-1252编码的特殊字符
    // 假设这些字节是某个Windows-1252编码的文件内容
    cp1252Data := []byte{0xAE, 0xAC, 0xA9} // ®©™ (Registered, Copyright, Trademark symbols)
    utf8Str2, err := DecodeWindows1252ToUTF8(cp1252Data)
    if err != nil {
        fmt.Printf("Windows-1252转换错误: %v\n", err)
    } else {
        fmt.Printf("Windows-1252原文 (字节): %x\n", cp1252Data)
        fmt.Printf("UTF-8转换后: %s\n", utf8Str2) // 输出: ®©™
    }

    fmt.Println("--------------------")

    // 错误示例：直接将非UTF-8字节转换为字符串，导致乱码
    fmt.Println("错误示例：直接转换GBK字节为字符串（预期乱码）")
    fmt.Printf("直接转换: %s\n", string(gbkData))
}