Go读取中文文件乱码是因为不自动识别编码，需用golang.org/x/net/html/charset检测并转UTF-8；写入时按需添加BOM；bufio.Scanner有64KB行长限制，大文件应改用bufio.Reader。
Go读取文件时为什么出现中文乱码
Go语言本身不自动识别文件编码，os.ReadFile 或 bufio.Scanner 读出来的只是原始字节流。如果文件是 GBK、GB2312 或 UTF-8 BOM 等非标准 UTF-8 编码，直接用 string() 转成字符串后打印，控制台或 IDE 就会显示乱码——这不是 Go 的 bug，而是编码未显式转换导致的。
如何判断并转成 UTF-8 字符串
不能靠文件扩展名或猜测，得用编码检测库。推荐用 golang.org/x/text/encoding 配合 golang.org/x/text/transform，再辅以轻量检测（如 rune 检查是否合法 UTF-8）。
- 先用
unicode.IsPrint()和utf8.Valid()快速验证是否已是有效 UTF-8 - 若无效，用
charset.NewReaderLabel()（来自golang.org/x/net/html/charset）尝试按常见标签（如"gbk"、"gb2312"、"big5"）解码 - 生产环境建议固定输入编码（如约定日志/配置文件必须为 UTF-8），避免运行时检测开销
package main
import (
"fmt"
"io"
"os"
"unicode/utf8"
"golang.org/x/net/html/charset"
"golang.org/x/text/transform"
)
func readAsUTF8(filename string) (string, error) {
data, err := os.ReadFile(filename)
if err != nil {
return "", err
}
if utf8.Valid(data) {
return string(data), nil
}
// 尝试用 GBK 解码（常见中文场景）
decoder := charset.NewReaderLabel("gbk", data)
converted, err := io.ReadAll(decoder)
if err != nil {
return "", fmt.Errorf("failed to decode as gbk: %w", err)
}
return string(converted), nil
}
写入文件时如何避免产生乱码文件
Go 写文件默认不加 BOM，但某些 Windows 工具（如记事本）依赖 BOM 判断 UTF-8。是否加 BOM 取决于下游消费者，不是 Go 自身问题。
- 写纯 UTF-8：直接
os.WriteFile(filename, []byte(content), 0644)即可，无需额外处理 - 需要 UTF-8 BOM：在内容前拼接
[]byte{0xEF, 0xBB, 0xBF} - 写 GBK 文件：必须用
encoding.RegisterEncoding注册，并通过transform.Writer包装*os.File
bufio.Scanner 读取含中文路径或内容时的陷阱
bufio.Scanner 默认按行切分，但它的 Scan() 不校验编码，且对超长行（>64KB）直接报 bufio.ErrTooLong，容易误判为“读不到中文”。这不是编码问题，是缓冲区限制。
- 遇到大文件或不确定长度的行，改用
bufio.Reader.ReadString('\n')或io.ReadFull - 路径含中文时，Windows 下确保 Go 进程启动环境支持 UTF-8（如 PowerShell 中执行
$env:GO111MODULE="on"不影响，但终端编码需一致） - Linux/macOS 一般无路径编码问题，但 NFS 或 FAT32 挂载卷可能有编码映射差异
真正棘手的不是“怎么转”，而是“谁该负责转”——上游生成文件的程序是否明确标注编码？HTTP 响应头有没有 Content-Type: text/plain; charset=gbk？这些信息缺失时，任何自动检测都不可靠。
