Go语言文件读取：如何高效验证并处理无效UTF-8编码

import (
    "bufio"
    "os"
    "fmt"
)

func openFile(filePath string) (*bufio.Reader, *os.File, error) {
    f, err := os.Open(filePath)
    if err != nil {
        return nil, nil, fmt.Errorf("无法打开文件 %s: %w", filePath, err)
    }
    reader := bufio.NewReader(f)
    return reader, f, nil
}

import (
    "io"
    "strings"
)

// ... (接上文 openFile 函数)

func readLine(reader *bufio.Reader) ([]byte, error) {
    lineBytes, err := reader.ReadBytes('\n') // 读取到换行符
    if err != nil && err != io.EOF {
        return nil, fmt.Errorf("读取行时发生错误: %w", err)
    }
    return lineBytes, err
}

import (
    "unicode/utf8"
)

// ... (接上文 readLine 函数)

func validateUTF8(lineBytes []byte) (string, error) {
    // 将字节切片转换为字符串。此时，无效的UTF-8序列会被替换为U+FFFD。
    // 但我们真正关心的是原始字节序列是否有效。
    line := string(lineBytes)

    // 使用ValidString检查转换前的原始字节序列是否是有效的UTF-8
    if !utf8.Valid(lineBytes) { // 或者使用 utf8.ValidString(line)
        return "", fmt.Errorf("发现无效的UTF-8编码内容。无效字节序列: %x", lineBytes)
    }
    return line, nil
}

package main

import (
    "bufio"
    "fmt"
    "io"
    "io/ioutil"
    "os"
    "strings"
    "unicode/utf8"
)

// readAndValidateUTF8File 逐行读取文件，并验证每行是否为有效的UTF-8编码。
// 如果遇到无效UTF-8，则返回错误。
func readAndValidateUTF8File(filePath string) ([]string, error) {
    f, err := os.Open(filePath)
    if err != nil {
        return nil, fmt.Errorf("无法打开文件 %s: %w", filePath, err)
    }
    defer f.Close() // 确保文件在函数退出时关闭

    reader := bufio.NewReader(f)
    var lines []string

    lineNumber := 0
    for {
        lineNumber++
        lineBytes, err := reader.ReadBytes('\n') // 读取到换行符

        // 如果是文件末尾且没有读取到任何数据，则退出循环
        if len(lineBytes) == 0 && err == io.EOF {
            break
        }

        // 处理读取错误，但忽略io.EOF，因为EOF可能在读取完最后一行后才出现
        if err != nil && err != io.EOF {
            return nil, fmt.Errorf("读取文件 %s 第 %d 行时发生错误: %w", filePath, lineNumber, err)
        }

        // 验证当前行的原始字节是否为有效的UTF-8编码
        if !utf8.Valid(lineBytes) {
            // 尝试将无效字节序列转换为字符串，以便在错误消息中显示（可能包含U+FFFD）
            invalidLineContent := strings.TrimSuffix(string(lineBytes), "\n")
            invalidLineContent = strings.TrimSuffix(invalidLineContent, "\r")
            return nil, fmt.Errorf("文件 %s 第 %d 行包含无效的UTF-8编码。无效内容: %q", filePath, lineNumber, invalidLineContent)
        }

        // 如果有效，去除行尾的换行符，并添加到结果中
        line := string(lineBytes)
        line = strings.TrimSuffix(line, "\n")
        line = strings.TrimSuffix(line, "\r") // 兼容Windows换行符
        lines = append(lines, line)

        if err == io.EOF {
            break // 文件读取完毕
        }
    }
    return lines, nil
}

func main() {
    // --- 1. 创建一个包含有效UTF-8的测试文件 ---
    validFile := "valid_utf8.txt"
    _ = ioutil.WriteFile(validFile, []byte("Hello, 世界!\nGo 语言\n这是一行中文。\n"), 0644)

    fmt.Printf("--- 尝试读取有效UTF-8文件: %s ---\n", validFile)
    validLines, err := readAndValidateUTF8File(validFile)
    if err != nil {
        fmt.Printf("读取有效文件时发生错误: %v\n", err)
    } else {
        fmt.Println("文件内容（有效UTF-8）：")
        for i, line := range validLines {
            fmt.Printf("  Line %d: %s\n", i+1, line)
        }
    }
    fmt.Println()

    // --- 2. 创建一个包含无效UTF-8的测试文件 ---
    invalidFile := "invalid_utf8.txt"
    // 0xFF 是一个无效的UTF-8起始字节
    _ = ioutil.WriteFile(invalidFile, []byte("First line\n"+string([]byte{0xFF})+"Invalid char\nLast line\n"), 0644)

    fmt.Printf("--- 尝试读取无效UTF-8文件: %s ---\n", invalidFile)
    invalidLines, err := readAndValidateUTF8File(invalidFile)
    if err != nil {
        fmt.Printf("读取无效文件时发生错误（程序将中止或返回错误）: %v\n", err)
        // 在实际应用中，这里可能会 os.Exit(1) 或向上层返回错误
    } else {
        fmt.Println("文件内容（无效UTF-8，不应执行到此）：")
        for i, line := range invalidLines {
            fmt.Printf("  Line %d: %s\n", i+1, line)
        }
    }
    fmt.Println()

    // --- 3. 创建一个空文件 ---
    emptyFile := "empty.txt"
    _ = ioutil.WriteFile(emptyFile, []byte(""), 0644)
    fmt.Printf("--- 尝试读取空文件: %s ---\n", emptyFile)
    emptyLines, err := readAndValidateUTF8File(emptyFile)
    if err != nil {
        fmt.Printf("读取空文件时发生错误: %v\n", err)
    } else {
        fmt.Printf("成功读取到 %d 行。\n", len(emptyLines))
    }
    fmt.Println()

    // 清理测试文件
    _ = os.Remove(validFile)
    _ = os.Remove(invalidFile)
    _ = os.Remove(emptyFile)
}

--- 尝试读取有效UTF-8文件: valid_utf8.txt ---
文件内容（有效UTF-8）：
  Line 1: Hello, 世界!
  Line 2: Go 语言
  Line 3: 这是一行中文。

--- 尝试读取无效UTF-8文件: invalid_utf8.txt ---
读取无效文件时发生错误（程序将中止或返回错误）: 文件 invalid_utf8.txt 第 2 行包含无效的UTF-8编码。无效内容: "\xffInvalid char"

--- 尝试读取空文件: empty.txt ---
成功读取到 0 行。