
在日常的数据分析和日志处理中,我们经常需要从大量结构化或半结构化的文本文件中提取特定信息。当文件内容具有固定的分段结构时,采用分块处理的策略可以大大提高代码的可读性和维护性。本教程将以一个具体的案例为例,演示如何利用Python递归查找目录下的所有特定文件,并从中解析出分段的性能数据。
假设我们有以下目录结构:
- /home/python
- dirA
- file1.txt
- file2.txt
- dirB
- file3.txt
- file5.txt
- another
- file6.txt
- file10.txt每个 .txt 文件都包含两个逻辑部分,每个部分由>符号开始,且每个部分都严格包含相同数量的行。例如,一个文件的内容可能如下:
> this is first output and some another contents these are some test lines to fill the file Testing download speed Download: 0.00 Mbit/s Testing upload speed Upload: 0.00 Mbit/s > this is second output but other texts go here too these are some test lines to fill the file Testing download speed Download: 1200.58 Mbit/s Testing upload speed Upload: 857.25 Kbit/s
我们的目标是:
立即学习“Python免费学习笔记(深入)”;
由于文件结构高度一致(每个文件有固定数量的逻辑部分,每个逻辑部分有固定数量的行),我们可以采用以下策略:
首先,我们需要导入 pathlib 模块来处理文件路径和递归查找。
from pathlib import Path
# 定义每个逻辑部分的行数和文件包含的逻辑部分数量
LINES_PER_PART = 8
PARTS_PER_FILE = 2
def main():
# 递归查找当前目录及其子目录下所有以 .txt 结尾的文件
result = list(Path(".").rglob("*.txt"))
for filename in result:
# 打开文件进行处理
with open(filename, 'r') as file:
# ... 后续处理逻辑
pass # 占位符文件的关键在于其内容可以被分割成固定大小的块。我们可以读取文件的所有行,然后编写一个 chunks 函数来将这些行分割成列表的列表,每个子列表代表一个逻辑部分。
def chunks(arr, chunk_size):
"""
将一个列表分割成指定大小的块。
Args:
arr (list): 待分割的列表。
chunk_size (int): 每个块的大小。
Returns:
list: 包含多个块的列表。
"""
result = []
for i in range(0, len(arr), chunk_size):
result.append(arr[i:i+chunk_size])
return result
# 在 main 函数中调用
# ...
lines = file.readlines()
parts = chunks(lines, LINES_PER_PART)
# ...在每个逻辑部分中,我们需要找到“Download:”和“Upload:”行,并从中提取速度值和单位。根据示例文件结构,这两行分别位于每个部分的倒数第三行和倒数第一行。
我们定义一个 parse_speed_info 函数来处理单行速度信息的解析。
def parse_speed_info(line_string):
"""
从包含速度信息的字符串中解析出速度值和单位。
例如:"Download: 1200.58 Mbit/s" -> (1200.58, "Mbit/s")
Args:
line_string (str): 包含速度信息的行字符串。
Returns:
tuple: 包含浮点型速度值和字符串单位的元组。
"""
# 忽略前缀(如 "Download:" 或 "Upload:"),只取数值和单位部分
speed_info_list = line_string.split()[1::]
return (
float(speed_info_list[0]), # 速度值
speed_info_list[1].strip() # 单位,去除可能的换行符
)根据需求,速度的输出格式有多种情况(零、小于600、实际值)。我们为此创建一个 stringify_speed_info 函数。
def stringify_speed_info(speed_value, unit):
"""
根据速度值和单位,返回格式化的速度字符串。
Args:
speed_value (float): 速度数值。
unit (str): 速度单位。
Returns:
str: 格式化的速度字符串。
"""
if speed_value == 0:
return "zero"
# 注意:这里的600阈值仅针对Mbit/s,如果单位是Kbit/s,此条件可能不适用
# 实际应用中,可能需要更复杂的单位转换或阈值判断逻辑
elif unit.lower() == "mbit/s" and speed_value < 600.0:
return f"less than 600 {unit}"
return f"{speed_value} {unit}"将上述函数和逻辑整合到一个完整的Python脚本中。
#!/usr/bin/python3
from pathlib import Path
# 定义常量:每个逻辑部分的行数和文件包含的逻辑部分数量
LINES_PER_PART = 8
PARTS_PER_FILE = 2
def chunks(arr, chunk_size):
"""
将一个列表分割成指定大小的块。
"""
result = []
for i in range(0, len(arr), chunk_size):
result.append(arr[i:i+chunk_size])
return result
def parse_speed_info(line_string):
"""
从包含速度信息的字符串中解析出速度值和单位。
例如:"Download: 1200.58 Mbit/s" -> (1200.58, "Mbit/s")
"""
# 忽略前缀(如 "Download:" 或 "Upload:"),只取数值和单位部分
speed_info_list = line_string.split()[1::]
return (
float(speed_info_list[0]),
speed_info_list[1].strip() # 移除可能的换行符
)
def stringify_speed_info(speed_value, unit):
"""
根据速度值和单位,返回格式化的速度字符串。
"""
if speed_value == 0:
return "zero"
# 原始需求中“less than 600”特指Mbit/s,此处增加单位判断
elif unit.lower() == "mbit/s" and speed_value < 600.0:
return f"less than 600 {unit}"
return f"{speed_value} {unit}"
def main():
# 递归查找当前目录及其子目录下所有以 .txt 结尾的文件
result = list(Path(".").rglob("*.txt"))
for filename in result:
with open(filename, 'r') as file:
lines = file.readlines()
# 将文件内容分割成逻辑块
parts = chunks(lines, LINES_PER_PART)
# 遍历每个逻辑部分,提取并打印信息
for i, part in enumerate(parts, 1): # i 从 1 开始计数
# 下载速度信息在每个部分的倒数第三行
download_info = parse_speed_info(part[-3])
# 上传速度信息在每个部分的倒数第一行
upload_info = parse_speed_info(part[-1])
# 打印格式化后的结果
print(f"Download{i} speed of {filename} is {stringify_speed_info(*download_info)}.")
print(f"Upload{i} speed of {filename} is {stringify_speed_info(*upload_info)}.")
print() # 每个文件部分之间打印一个空行,增加可读性
if __name__ == "__main__":
main()通过以上步骤,我们成功构建了一个Python脚本,能够高效地遍历目录,解析具有固定分段结构的文本文件,并根据业务规则输出格式化的性能数据。这种模块化的设计使得代码更易于理解、测试和维护,是处理类似结构化日志或报告文件的有效方法。
以上就是Python教程:递归解析分段日志文件中的性能数据的详细内容,更多请关注php中文网其它相关文章!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号