0

0

如何使用Python实现自动检测和批量转换文本文件编码?

WBOY

WBOY

发布时间:2023-04-24 12:16:07

|

1527人浏览过

|

来源于亿速云

转载

如题,很简单,就是先用chardet 库识别文件编码,解码之后再输出成目标编码。算是个偶尔能用上的小工具,要用的时候万一没有就很难受的那种,比如,网上下载了别人的项目文件,一打开全是乱码

代码

加了比较详细的注释~~ 看懂的要求应该不高,平时用过Python,知道几个常用库就行。

from pathlib import Path
import chardet
import re

def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float):
    ''' 转换单个文件到目标编码
    @param  f                   文件路径
    @param  target_encoding     目标编码,比如urf-8
    @param  dry_run             为True 时不实际修改源文件

    @return  返回三个值分别为(是否成功,估计的源文件编码,估计的把握)
    '''
    target_encoding = target_encoding.lower()    # python 的标准编码名称都是小写
    raw = f.read_bytes()
    result = chardet.detect(raw)
    encoding = result["encoding"].lower()     # chardet 估计出来的编码名称
    confidence = result["confidence"]    # 估计的把握
    flag = True

    # 下面的单次for 循环用来避免重复写return 语句,break 后统一跳到最后return
    for _d( ̄_ ̄)b_ in (1,):
        if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8":
            # 目标编码和源编码相同时不用做处理。utf-8 编码和ASCII 兼容,原编码为ASCII 时转换到utf-8 不会有变化,所以也跳过
            print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]")
            break

        try:
            text = raw.decode(encoding)
        except:
            print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.")
            flag = False
            break

        if dry_run:
            print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]")
        else:
            # 必须先用目标编码转换成字节数组,然后按字节写入源文件
            # 如果按文本方式写入,就会遇到喜闻乐见的CR LF 换行问题,
            # 源文件中的CR LF 换行会被自动变成CR CR LF,也就是多了一堆空行。
            out = text.encode(target_encoding)
            f.write_bytes(out)
            print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]")

    return (flag, encoding, confidence)


def text_file_encoding_batch_convert(
    folder: Path,
    target_encoding: str,
    *,
    dry_run=True,
    recursive=False,
    pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$",
    skip_when_error=True,
):
    ''' 批量转换一个目录下文本文件的编码
    @param  folder             目标目录
    @param  target_encoding    目标编码
    @param  dry_run            不实际修改源文件,避免手滑写错
    @param  recursive          包括所有子文件夹下的文件
    @param  pattern            基于文件名筛选文本文件的正则表达式,默认根据后缀筛选几种文本类型
    @param  skip_when_error    默认True,单个文件转换出错时提示并跳过,否则终止
    '''
    if recursive:
        flist = folder.rglob("*")
    else:
        flist = folder.glob("*")

    p = re.compile(pattern)   # 把正则编译了,之后应该能快一点
    for f in flist:
        if not (f.is_file() and p.match(f.name)):
            continue

        ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run)
        if not ok:
            if skip_when_error:
                print("!> SKIP.")
            else:
                print("!> ABORT.")
                return

用法

既然是批量转换文件,只调用第二个函数就好了,如下:

folder = Path(r"D:\Downloads\Some shit\\")
text_file_encoding_batch_convert(folder, "utf-8", recursive=True)

目标目录为D:\Downloads\Some shit\\,放进一个Path 对象里,作为第一个参数传进去。第二个参数是目标编码,第三个参数必须写明参数名称recursive,用来指定要不要遍历子文件夹,默认是False,为了避免意外情况。直接这么运行的话,输出的信息应该类似这样:

-> [NO WET] main.c : gb2312 ⇒ utf-8

[NO WET] 意思就是DRY [doge],也就是没有实际修改源文件,只是让你大致看看输出信息对不对劲,实际运行的话再加一个参数:

Android传感器编程 中文WORD版
Android传感器编程 中文WORD版

本文档主要讲述的是Android传感器编程;传感器是一种物理装置或生物器官,能够探测、感受外界的信号、物理条件(如光、热、湿度)或化学组成(如烟雾),并将探知的信息传递给其它装置或器官。同时也可以说传感器是一种检测装置,能感受被测量的信息,并能将检测的感受到的信息,按一定规律变换成为电信号或其它所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。它是实现自动检测和自动控制的首要环节。感兴趣的朋友可以过来看看

下载

立即学习Python免费学习笔记(深入)”;

text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)

顺便一说,输出信息都是英文的,因为大伙应该都遇到过控制台输出中文乱码的问题,反正也没几个单词。剩下两个参数,skip_when_error 放着别管就行,没什么用;pattern 是匹配文件名的正则表达式,只有匹配的文件会被处理,可以自己设置;默认的正则只匹配了几种容易遇到乱码问题的文本文件,匹配的太多了也可能错杀,需要的话往括号里加就行。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

709

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

625

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

737

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

616

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1235

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

573

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

696

2023.08.11

ip地址修改教程大全
ip地址修改教程大全

本专题整合了ip地址修改教程大全,阅读下面的文章自行寻找合适的解决教程。

27

2025.12.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 2.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号