在Go语言中高效读取UTF-16文本文件

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    // 假设 test.txt 是一个UTF-16编码的文件
    f, err := os.Open("test.txt")
    if err != nil {
        fmt.Printf("error opening file: %v\n", err)
        os.Exit(1)
    }
    defer f.Close()

    r := bufio.NewReader(f)
    // bufio.ReadLine() 返回的是字节切片，且不具备编码感知能力
    s, _, e := r.ReadLine()
    if e == nil {
        fmt.Println("原始字节切片:", s)
        // 直接转换为字符串会导致乱码，因为它将UTF-16字节解释为UTF-8
        fmt.Println("直接转换的字符串:", string(s))
    }
}

package main

import (
    "bytes"
    "fmt"
    "io/ioutil" // 注意：ioutil 包已废弃，推荐使用 os 包中的函数
    "log"
    "strings"

    "golang.org/x/text/encoding/unicode"
    "golang.org/x/text/transform"
)

// ReadFileUTF16 类似于 ioutil.ReadFile()，但会解码UTF-16文件。
// 它可以正确处理包含BOM的UTF-16文件。
func ReadFileUTF16(filename string) ([]byte, error) {
    // 1. 读取文件的原始字节数据
    raw, err := ioutil.ReadFile(filename) // 在Go 1.16+中，推荐使用 os.ReadFile(filename)
    if err != nil {
        return nil, err
    }

    // 2. 创建一个UTF-16解码器，默认假设为大端序，并忽略BOM
    // 这里的 BigEndian 和 IgnoreBOM 只是提供一个基准，
    // 实际的字节序将由 BOMOverride 智能判断。
    win16be := unicode.UTF16(unicode.BigEndian, unicode.IgnoreBOM)

    // 3. 创建一个转换器，它会根据BOM智能判断字节序并解码
    utf16bom := unicode.BOMOverride(win16be.NewDecoder())

    // 4. 使用 transform.NewReader 将原始字节流通过解码器进行转换
    unicodeReader := transform.NewReader(bytes.NewReader(raw), utf16bom)

    // 5. 读取转换后的UTF-8字节数据
    decoded, err := ioutil.ReadAll(unicodeReader)
    return decoded, err
}

func main() {
    // 创建一个示例 UTF-16LE 文件 (带BOM)
    // 实际应用中，此文件应由其他程序生成
    exampleUTF16Content := []byte{
        0xFF, 0xFE, // UTF-16LE BOM
        0x53, 0x00, 0x63, 0x00, 0x72, 0x00, 0x69, 0x00, 0x70, 0x00, 0x74, 0x00, 0x20, 0x00, 0x49, 0x00,
        0x6E, 0x00, 0x66, 0x00, 0x6F, 0x00, 0x0D, 0x00, 0x0A, 0x00, // "Script Info\r\n"
        0x48, 0x00, 0x65, 0x00, 0x6C, 0x00, 0x6C, 0x00, 0x6F, 0x00, 0x2C, 0x00, 0x20, 0x00, 0x41, 0x00,
        0x6E, 0x00, 0x64, 0x00, 0x72, 0x00, 0x6F, 0x00, 0x69, 0x00, 0x64, 0x00, 0x21, 0x00, 0x0D, 0x00, 0x0A, 0x00, // "Hello, Android!\r\n"
    }
    err := ioutil.WriteFile("inputfile.txt", exampleUTF16Content, 0644)
    if err != nil {
        log.Fatalf("创建示例文件失败: %v", err)
    }

    data, err := ReadFileUTF16("inputfile.txt")
    if err != nil {
        log.Fatal(err)
    }
    // Windows系统生成的UTF-16文件通常使用CRLF(\r\n)作为换行符，
    // 解码后仍是"\r\n"，如果需要统一为"\n"，可以进行替换。
    final := strings.Replace(string(data), "\r\n", "\n", -1)
    fmt.Println(final)
}

package main

import (
    "bufio"
    "fmt"
    "io" // 引入 io 接口
    "log"
    "os"

    "golang.org/x/text/encoding/unicode"
    "golang.org/x/text/transform"
)

// 定义一个接口，用于表示可以读取字节流的对象
type utfScanner interface {
    io.Reader // 必须实现 io.Reader 接口才能被 transform.NewReader 包装
}

// NewScannerUTF16 创建一个类似于 os.Open() 的文件读取器，
// 但它会解码UTF-16文件，并返回一个可用于 bufio.NewScanner 的 io.Reader。
func NewScannerUTF16(filename string) (utfScanner, error) {
    // 1. 打开文件获取原始文件句柄
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }

    // 2. 创建一个UTF-16解码器（同方法一）
    win16be := unicode.UTF16(unicode.BigEndian, unicode.IgnoreBOM)

    // 3. 创建一个转换器，根据BOM智能判断字节序并解码（同方法一）
    utf16bom := unicode.BOMOverride(win16be.NewDecoder())

    // 4. 使用 transform.NewReader 包装文件句柄，实现实时解码
    // 此时 unicodeReader 已经是一个 io.Reader，每次读取都会进行UTF-16到UTF-8的转换
    unicodeReader := transform.NewReader(file, utf16bom)
    return unicodeReader, nil
}

func main() {
    // 沿用方法一中创建的 inputfile.txt 示例文件
    // 如果文件不存在，请运行方法一的 main 函数来创建它

    // 获取一个已解码的 Reader
    s, err := NewScannerUTF16("inputfile.txt")
    if err != nil {
        log.Fatal(err)
    }

    // 使用 bufio.NewScanner 包装已解码的 Reader
    scanner := bufio.NewScanner(s)
    for scanner.Scan() {
        // scanner.Text() 返回的是已解码为UTF-8的字符串
        fmt.Println(scanner.Text()) // Println 会自动添加换行符
    }
    if err := scanner.Err(); err != nil {
        fmt.Fprintln(os.Stderr, "读取inputfile时发生错误:", err)
    }
}