高效使用Boto3遍历S3存储桶对象：生成器方法详解

import boto3
import urllib.parse

def s3list(bucket_name, prefix='', start_key='', end_key='', list_dirs=False):
    """
    一个基于生成器的S3对象列表器，用于高效遍历S3存储桶中的对象。

    参数:
        bucket_name (str): S3存储桶的名称。
        prefix (str): 用于过滤对象的共同前缀。
        start_key (str): 列表的起始键（字典序）。
        end_key (str): 列表的结束键（字典序，不包含此键本身）。
        list_dirs (bool): 是否包含“目录”对象（即以斜杠结尾的键）。

    生成器:
        yields boto3.resources.factory.s3.ObjectSummary: S3对象摘要。
    """
    s3_resource = boto3.resource('s3')
    bucket = s3_resource.Bucket(bucket_name)

    kwargs = {'Prefix': prefix}
    if start_key:
        kwargs['StartAfter'] = start_key # StartAfter用于从特定键之后开始列出

    # S3 API没有直接的'end_key'参数，我们需要在客户端进行过滤
    # 或者如果end_key是前缀的一部分，可以调整prefix

    paginator = s3_resource.meta.client.get_paginator('list_objects_v2')
    pages = paginator.paginate(Bucket=bucket_name, **kwargs)

    for page in pages:
        if 'Contents' in page:
            for obj in page['Contents']:
                # 过滤掉目录对象（如果list_dirs为False）
                if not list_dirs and obj['Key'].endswith('/'):
                    continue

                # 在客户端实现end_key过滤
                if end_key and obj['Key'] >= end_key:
                    return # 达到或超过end_key，停止生成

                yield bucket.Object(obj['Key'])

bucket_name = 'my-log-bucket'
path_prefix = 'splunk-kinesis-firehose/splunk-failed'

print(f"Listing all objects under prefix: {path_prefix}")
for s3obj in s3list(bucket_name, prefix=path_prefix, list_dirs=False):
    key = s3obj.key
    print(f"Found object: {key}")
    # 在这里可以对s3obj进行进一步操作，例如下载、读取内容等
    # content = s3obj.get()['Body'].read()

bucket_name = 'my-log-bucket'
path_prefix = 'splunk-kinesis-firehose/splunk-failed/' # 注意斜杠，确保只匹配该前缀下的文件

# 2023年5月1日到2023年5月31日
start_date_key = path_prefix + '2023/05/01'
# 结束键通常设置为下一个月的开始，以确保包含整个目标月份
end_date_key = path_prefix + '2023/06/01'

print(f"\nListing objects from {start_date_key} to before {end_date_key}")
for s3obj in s3list(bucket_name, prefix=path_prefix, start_key=start_date_key, end_key=end_date_key, list_dirs=False):
    key = s3obj.key
    print(f"Found object: {key}")
    # ... 处理文件 ...