0

0

如何在上传时处理GB18030等非UTF-8编码的XML文件

月夜之吻

月夜之吻

发布时间:2026-01-23 03:01:21

|

338人浏览过

|

来源于php中文网

原创

XML解析前必须显式声明编码,否则xml.etree.ElementTree会默认用UTF-8解码;应先用codecs.open()按正确编码读取文件内容,再用ET.fromstring()解析,避免UnicodeDecodeError。

如何在上传时处理gb18030等非utf-8编码的xml文件

XML解析前必须显式声明编码,否则xml.etree.ElementTree会默认用UTF-8解码

Python的xml.etree.ElementTree.parse()在读取文件时,如果XML声明里没写encoding="GB18030",或声明了但实际内容编码不一致,就会直接抛UnicodeDecodeError。它不会自动探测编码,也不会 fallback 到系统 locale。

常见错误现象:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 123: invalid continuation byte

  • 不要直接传文件路径给parse(),先用正确编码读成字符串再解析
  • 若XML头部有,仍需按该编码打开文件——XML声明只是提示,不改变底层字节读取逻辑
  • Windows平台上传的文件更易出现GB18030/GBK编码,尤其来自Excel另存为XML或国产办公软件导出

codecs.open()配合io.StringIO安全加载非UTF-8 XML

绕过parse()内置文件读取逻辑,手动控制编码解码流程:

import codecs
import io
import xml.etree.ElementTree as ET

with codecs.open('input.xml', 'r', encoding='GB18030') as f:
    content = f.read()
root = ET.fromstring(content)

这个模式适用于已知编码的场景。关键点:

  • codecs.open()能稳定支持'GB18030''GBK''GB2312'等中文编码,比内置open()兼容性更好
  • 不用ET.parse()而改用ET.fromstring(),避免它内部调用open()导致二次编码错误
  • 如果文件极大(>50MB),改用ET.iterparse()配合codecs.getreader('GB18030')(f)流式处理,防止内存爆炸

上传接口中动态识别编码并转UTF-8再解析

用户上传的XML编码不可控,不能硬编码GB18030。需在接收request.files后做编码探测:

mPDF
mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),包括边距、边框、填充、行高、背景颜色等。支持从右到左的语言,并自动检测文档中的RTL字符。转置表格、列表、文本

下载
  • 优先检查XML声明行(前1024字节内是否有encoding="xxx"),提取编码名
  • 若无声明或提取失败,用chardet.detect()分析前几KB字节(注意:对短XML不准,需设最小样本长度)
  • 探测结果不可信时,按GB18030GBKUTF-8-SIG顺序尝试解码,任一成功即终止
  • 解码成功后,统一转成UTF-8字符串再喂给ET.fromstring(),后续所有处理都基于UTF-8,避免混用

示例关键判断逻辑:

raw_bytes = uploaded_file.read()
detected = chardet.detect(raw_bytes[:2048])
encoding = detected['encoding'] or 'GB18030'
try:
    text = raw_bytes.decode(encoding)
except (UnicodeDecodeError, LookupError):
    for enc in ['GB18030', 'GBK', 'UTF-8-SIG']:
        try:
            text = raw_bytes.decode(enc)
            break
        except UnicodeDecodeError:
            continue
    else:
        raise ValueError("Unable to decode XML with any known encoding")
root = ET.fromstring(text)

Flask/FastAPI中处理上传文件时,别忽略Content-Type和BOM头

浏览器上传时,Content-Type常是application/xmltext/xml,但完全不可信;更麻烦的是带BOM的GB18030文件——BOM为0xFE 0xFF(UTF-16 BE)或0xFF 0xFE(UTF-16 LE),但GB18030本身不定义BOM,部分编辑器会错误添加。

  • raw_bytes.startswith(b'\xff\xfe')b'\xef\xbb\xbf'提前检测BOM,有则剥离再解码
  • FastAPI的UploadFile.fileSpooledTemporaryFile,读取后指针偏移,重复.read()会返回空字节,需.seek(0)重置
  • Flask中request.files['file'].stream也是类似行为,别假设能多次读取
  • 生产环境务必加try/except包裹整个解码+解析流程,并记录原始filenamecontent_type用于排查

最易被忽略的一点:即使XML内容最终能解析,若其中文本节点含GB18030特有字符(如「〇」「〆」「㈱」),而数据库字段没设CHARACTER SET utf8mb4,入库时会静默截断或报错——编码转换必须贯穿从上传到落库的全链路。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

772

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

661

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

764

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

679

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1365

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

569

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

730

2023.08.11

菜鸟裹裹入口以及教程汇总
菜鸟裹裹入口以及教程汇总

本专题整合了菜鸟裹裹入口地址及教程分享,阅读专题下面的文章了解更多详细内容。

0

2026.01.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

相关下载

更多

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 12.9万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 2.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号