Go语言中将ANSI编码文本转换为UTF-8字符串的实践指南

go get golang.org/x/text

package main

import (
    "bytes"
    "fmt"
    "io/ioutil"

    "golang.org/x/text/encoding/simplifiedchinese" // 引入简体中文编码包，包含GBK
    "golang.org/x/text/transform"                  // 引入转换接口
)

func main() {
    // 假设这是从文件或网络读取到的GBK编码字节切片
    // 例如，"你好，世界！" 的GBK编码字节序列
    ansiGBKBytes := []byte{0xC4, 0xE3, 0xBA, 0xC3, 0xA3, 0xAC, 0xCA, 0xC0, 0xBD, 0xE7, 0xA3, 0xA1}

    fmt.Printf("原始GBK字节序列: %x\n", ansiGBKBytes)

    // 1. 创建GBK解码器
    // simplifiedchinese.GBK 返回一个 Encoding 接口，我们需要其 NewDecoder 方法
    decoder := simplifiedchinese.GBK.NewDecoder()

    // 2. 执行字节切片转换
    // transform.Bytes(transformer, srcBytes) 函数用于一次性转换整个字节切片
    // 返回转换后的字节切片、已处理的源字节数、已写入的目标字节数、以及可能发生的错误
    utf8Bytes, nRead, err := transform.Bytes(decoder, ansiGBKBytes)
    if err != nil {
        fmt.Printf("GBK到UTF-8转换失败: %v\n", err)
        return
    }
    fmt.Printf("已处理源字节数: %d\n", nRead)

    // 将UTF-8字节切片转换为Go字符串
    utf8String := string(utf8Bytes)
    fmt.Printf("转换后的UTF-8字符串: %s\n", utf8String)
    fmt.Printf("UTF-8字符串字节序列: %x\n", []byte(utf8String))

    fmt.Println("\n--- 通过 io.Reader 方式进行转换 ---")

    // 3. 通过 io.Reader 方式进行转换 (适用于处理流数据，如文件)
    // 创建一个 bytes.Reader 从 GBK 字节切片读取
    gbkReader := bytes.NewReader(ansiGBKBytes)
    // 使用 transform.NewReader 将 GBKReader 包装成一个 UTF-8 Reader
    utf8Reader := transform.NewReader(gbkReader, decoder)

    // 读取转换后的所有字节
    decodedBytesFromReader, err := ioutil.ReadAll(utf8Reader)
    if err != nil {
        fmt.Printf("通过Reader转换失败: %v\n", err)
        return
    }
    fmt.Printf("通过Reader转换后的UTF-8字符串: %s\n", string(decodedBytesFromReader))

    fmt.Println("\n--- 演示错误处理 ---")
    // 演示一个包含无效GBK字节的切片
    invalidGBKBytes := []byte{0xC4, 0xE3, 0xFF, 0xFE, 0xCA, 0xC0} // 包含无效字节 0xFF 0xFE
    _, _, err = transform.Bytes(decoder, invalidGBKBytes)
    if err != nil {
        // 在遇到非法字节时，transform.Bytes 会返回 transform.ErrShortDst 或其他错误
        // 如果是严格模式的解码器，可能会返回更具体的错误
        fmt.Printf("处理无效GBK字节时发生错误: %v\n", err)
    }
}