Python字符串编码核心是区分str(Unicode)与bytes,明确字符集作用;默认UTF-8但需显式指定encoding,注意BOM、系统locale差异及乱码溯源方法。

Python中字符串编码问题常出现在读写文件、网络通信或处理非ASCII文本时,核心在于分清str(Unicode字符串)和bytes(字节序列)的区别,以及明确字符集(如UTF-8、GBK)在编码/解码过程中的作用。
utf-8不是万能的,但它是默认首选
Python 3 中,源码文件默认以UTF-8编码读取,str类型内部统一使用Unicode表示。当你用.encode()转为字节时,若不指定编码,默认就是UTF-8;同理,.decode()也默认按UTF-8解析字节。
- 显式指定更安全:哪怕默认是UTF-8,也建议写明
s.encode('utf-8'),避免环境差异导致隐式错误 - 中文Windows下容易踩坑:记事本保存的“UTF-8”可能带BOM(
b'\xef\xbb\xbf'),用open(..., encoding='utf-8-sig')可自动跳过 - 不要用
bytes.decode()不加参数——它依赖系统locale,在Linux/macOS可能是UTF-8,Windows可能是GBK,极易出错
遇到乱码?先确认原始字节和目标字符集
乱码本质是“用错了字符集去解码字节”。比如一段GBK编码的字节被当成UTF-8解码,就会出现\xe4\xb8\xad\xe6\x96\x87变成ä¸\xadæ\x96\x87这类问号或方块。
- 查来源:从文件读取?用
open(file, 'rb').read()[:10]看前几个字节,再对照常见编码特征(如GBK双字节、UTF-8变长、BOM头) - 试解码:用
chardet.detect()粗略猜测(注意它只是启发式,不保证100%准确) - 硬匹配:已知是Windows日志?大概率GBK;来自Linux服务器?优先试UTF-8;网页标签写了
charset=gb2312?就用'gb2312'
文件读写必须显式声明encoding
用open()时,只要涉及文本(非b模式),就必须传encoding参数。否则Python会用locale.getpreferredencoding(),这在跨平台时极不稳定。
立即学习“Python免费学习笔记(深入)”;
- 写文件:确保
open('out.txt', 'w', encoding='utf-8'),避免中文在Windows上变乱码 - 读文件:如果不确定编码,先用
rb模式读字节,再尝试不同.decode(),成功后再转成str处理 - CSV/JSON等格式库通常也支持
encoding参数,别漏掉——json.load(f, encoding='utf-8')已废弃,应改用open(..., encoding='utf-8')再传给json.load()
网络请求与终端输出要注意隐式转换
requests.get().text会根据HTTP头或HTML meta自动推断编码,但不可靠;sys.stdout.write()则受终端编码限制(Windows cmd默认GBK,PowerShell可能UTF-8)。
- requests:优先用
r.content.decode('utf-8')或r.content.decode(r.apparent_encoding),比r.text更可控 - print输出中文异常?检查终端是否支持UTF-8,或临时设
export PYTHONIOENCODING=utf-8(Linux/macOS) - 日志记录时,logging模块默认用系统编码,建议配置
handlers时指定encoding='utf-8'










