Python Boto3深度指南：S3存储桶对象的高效迭代与过滤

import boto3

def list_s3_objects_efficiently(bucket_name, prefix='', start_key_after='', end_key_before=''):
    """
    使用Boto3生成器高效列出S3存储桶中符合条件的对象。

    Args:
        bucket_name (str): S3存储桶的名称。
        prefix (str): 对象键的前缀，用于初步过滤。
                      例如：'logs/app1/'
        start_key_after (str): 仅返回键值按字典序严格大于此值的对象。
                               例如：'logs/app1/2023/05/01'
        end_key_before (str): 仅返回键值按字典序严格小于此值的对象。
                              （注意：S3 API无直接的'EndBefore'参数，需在客户端进行过滤。）
                               例如：'logs/app1/2023/06'

    Yields:
        dict: 每个符合条件的S3对象字典（包含'Key', 'LastModified', 'Size'等信息）。
    """
    s3_client = boto3.client('s3')
    paginator = s3_client.get_paginator('list_objects_v2')

    list_kwargs = {
        'Bucket': bucket_name,
        'Prefix': prefix
    }
    if start_key_after:
        list_kwargs['StartAfter'] = start_key_after

    # 使用分页器迭代所有对象页面
    for page in paginator.paginate(**list_kwargs):
        if 'Contents' in page:
            for obj in page['Contents']:
                object_key = obj['Key']

                # 客户端侧过滤 end_key_before
                # 由于S3的ListObjectsV2是按字典序返回的，
                # 一旦遇到大于或等于end_key_before的键，即可提前终止。
                if end_key_before and object_key >= end_key_before:
                    return # 停止生成器，不再获取后续对象

                yield obj

import boto3

# 替换为您的S3存储桶名称
bucket_name = 'your-s3-bucket-name' 

# 示例1：列出特定前缀下的所有对象
# 场景：需要获取 'splunk-kinesis-firehose/splunk-failed/' 路径下的所有失败日志
target_prefix = 'splunk-kinesis-firehose/splunk-failed/'
print(f"--- 示例1：列出前缀 '{target_prefix}' 下的所有对象 ---")
for s3_obj in list_s3_objects_efficiently(bucket_name, prefix=target_prefix):
    print(f"  找到对象: {s3_obj['Key']}")
    # 在这里可以对 s3_obj 进行进一步处理，例如下载、读取内容等
    # 为了演示，我们只打印键，实际应用中可能需要 break 或限制数量
    # if count > 10: break 

# 示例2：按日期范围过滤对象
# 场景：需要获取 'splunk-kinesis-firehose/splunk-