Python实现文本文件内容按N行分组处理

在处理文本文件时，我们经常需要将文件内容按照固定的行数进行分组，例如每三行作为一个逻辑单元进行处理。这种需求在日志分析、数据预处理、配置文件解析等场景中尤为常见。python提供了简洁而强大的工具来高效地完成这项任务。

核心方法：基于列表切片的迭代分组

实现文本行分组的核心思路是：首先将整个文本文件的内容读取到一个列表中，其中列表的每个元素代表文件中的一行。然后，利用Python的 range 函数的步长特性和列表切片功能，从这个行列表中逐次提取指定数量的行，形成一个个分组。

示例代码

以下代码演示了如何定义一个函数，接收文件路径和分组大小作为参数，然后返回一个包含所有分组的列表。每个分组本身也是一个列表，包含了指定数量的行。

import os

def group_lines_from_file(filepath: str, group_size: int = 3) -> list:
    """
    从文本文件中读取内容，并按指定行数进行分组。

    Args:
        filepath (str): 文本文件的路径。
        group_size (int): 每组包含的行数。

    Returns:
        list: 包含多个子列表的列表，每个子列表代表一个行分组。
              子列表中的每行都已移除末尾的换行符和空白字符。
    """
    if not isinstance(group_size, int) or group_size <= 0:
        raise ValueError("group_size 必须是大于0的整数。")

    groups = []
    try:
        with open(filepath, 'r', encoding='utf-8') as f:
            # 读取所有行，并移除每行末尾的换行符和空白字符
            # 同时过滤掉处理后为空的行，避免空行影响分组逻辑
            lines = [line.strip() for line in f if line.strip()]

        # 遍历行列表，以 group_size 为步长进行切片
        for i in range(0, len(lines), group_size):
            group = lines[i : i + group_size]
            groups.append(group)

    except FileNotFoundError:
        print(f"错误：文件 '{filepath}' 未找到。请检查文件路径。")
    except Exception as e:
        print(f"处理文件 '{filepath}' 时发生错误：{e}")

    return groups

# --- 演示示例 ---
# 1. 创建一个示例文件
file_content = """aDB8786793440
bDB8978963432
cDB9898908345
dDB8908908454
eDB9083459089
fDB9082390843
gDB9083490345
"""
example_file_path = 'example.txt'
with open(example_file_path, 'w', encoding='utf-8') as f:
    f.write(file_content)

print(f"已创建示例文件：{example_file_path}")

# 2. 调用函数进行分组（每3行一组）
print("\n--- 每3行分组结果 ---")
grouped_data_3 = group_lines_from_file(example_file_path, group_size=3)
for idx, group in enumerate(grouped_data_3):
    print(f"第 {idx+1} 组: {group}")

# 预期输出类似：
# 第 1 组: ['aDB8786793440', 'bDB8978963432', 'cDB9898908345']
# 第 2 组: ['dDB8908908454', 'eDB9083459089', 'fDB9082390843']
# 第 3 组: ['gDB9083490345']

# 3. 尝试不同的分组大小（例如每2行一组）
print("\n--- 每2行分组结果 ---")
grouped_data_2 = group_lines_from_file(example_file_path, group_size=2)
for idx, group in enumerate(grouped_data_2):
    print(f"第 {idx+1} 组: {group}")

# 4. 清理示例文件
if os.path.exists(example_file_path):
    os.remove(example_file_path)
    print(f"\n已删除示例文件：{example_file_path}")

代码解析

1. group_lines_from_file(filepath, group_size=3) 函数定义：

   • 将分组逻辑封装在一个函数中，使其更具通用性和可重用性。
   • filepath 参数指定要处理的文本文件路径。
   • group_size 参数定义了每组包含的行数，默认值为3。
   • 函数包含了对 group_size 参数的有效性检查，确保其为正整数。

2. 文件读取与预处理：

   立即学习“Python免费学习笔记（深入）”；

   

   文心大模型

   百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

   56

   查看详情
   • with open(filepath, 'r', encoding='utf-8') as f:：使用 with 语句打开文件，这是一种推荐的做法，可以确保文件在操作完成后被正确关闭，即使发生错误。'r' 表示读取模式，encoding='utf-8' 确保能够正确处理各种字符编码的文本。
   • lines = [line.strip() for line in f if line.strip()]：这是一个高效的列表推导式，用于读取文件中的每一行并进行预处理：
     • line.strip()：移除每行开头和结尾的空白字符，包括换行符 \n。这使得处理后的数据更加干净。
     • if line.strip()：此条件过滤掉了处理后完全为空的行（即原始文件中只有空白字符或完全为空的行），避免它们影响分组逻辑。

3. 迭代分组逻辑：

   • for i in range(0, len(lines), group_size):：这是实现分组的核心循环。
     • range() 函数生成一个序列，从 0 开始，到 len(lines) 结束（不包含），步长为 group_size。例如，如果 group_size 是3，i 将依次为 0, 3, 6, ...。
     • group = lines[i : i + group_size]：利用Python的列表切片功能，从 lines 列表中提取从索引 i 到 i + group_size - 1 的元素，形成一个子列表。Python的切片操作非常灵活，即使 i + group_size 超出列表的实际长度，它也会自动处理，返回从 i 到列表末尾的所有元素，从而优雅地处理了不足 group_size 的最后一组。
   • groups.append(group)：将生成的子列表（即一个分组）添加到 groups 主列表中。

4. 错误处理：

   • try...except 块用于捕获 FileNotFoundError（文件未找到）和其他潜在的运行时错误，增强了程序的健壮性，防止程序因异常而崩溃。

注意事项与优化

• 通用性： 通过 group_size 参数，此方法可以轻松应用于任何指定行数的分组需求，无需修改核心逻辑。
• 内存考量： 示例代码中使用了 f.readlines() (在列表推导式中隐式执行) 将所有行一次性加载到内存中。对于包含数十万行甚至数百万行的小型到中型文件，这种方法是高效且简洁的。然而，如果文件大小达到数GB或更大，一次性加载所有内容可能会导致内存溢出（MemoryError）。
  • 优化建议（针对超大文件）： 对于极大的文件，可以考虑逐行读取并在内存中维护一个缓冲区。当缓冲区达到 group_size 时，将其作为一个分组处理，然后清空缓冲区。这种“生成器”方式可以显著降低内存消耗。
• 数据清洗： 示例代码中使用了 line.strip() 和 if line.strip() 来移除换行符和空行。根据实际需求，可能还需要更复杂的数据清洗，例如去除特定前缀/后缀、将字符串转换为数字或特定数据类型等。
• 结果访问： groups 变量是一个列表的列表。你可以通过 groups[0] 访问第一个分组，groups[0][0] 访问第一个分组的第一行数据，以此类推。这种结构化数据便于后续的迭代和处理。
• 文件编码： 在 open() 函数中明确指定 encoding='utf-8' 是一个好习惯，可以避免因文件编码不匹配而导致的 UnicodeDecodeError。

总结

本教程展示了使用Python进行文本文件行分组的有效方法。通过结合文件读取、列表推导式、range 函数的步长特性和列表切片，我们可以简洁而高效地将文件内容组织成结构化的数据块。这种方法对于日志分析、数据预处理、批处理任务等场景都非常实用，能够帮助开发者以清晰、可维护的方式处理大量文本数据。在实际应用中，请根据文件大小和数据特性（如是否包含空行、是否需要额外清洗）选择最合适的处理策略和优化方案。

以上就是Python实现文本文件内容按N行分组处理的详细内容，更多请关注php中文网其它相关文章！