Python中高效遍历嵌套数据结构：策略与自定义迭代器实现

data = [ 
    {'region': 'EU',
     'users' : [
         { 'id': 1, 'name': 'xyz'},
         { 'id': 2, 'name': 'foo'} 
    ]},
    {'region': 'NA',
     'users' : [
         { 'id': 1, 'name': 'bar'},
         { 'id': 2, 'name': 'foo'},
         { 'id': 3, 'name': 'foo'} 
    ]},
]

for region_data in data:
    for user_data in region_data['users']:
        print(f'Region {region_data["region"]} User id {user_data["id"]}')

Region EU User id 1
Region EU User id 2
Region NA User id 1
Region NA User id 2
Region NA User id 3

class NestIterator:
    """
    一个用于遍历特定嵌套数据结构的自定义迭代器。
    它允许用户指定要从不同层级提取的键。
    """
    def __init__(self, data, *keys):
        """
        初始化迭代器。
        :param data: 要遍历的嵌套数据结构（例如，列表套字典）。
        :param keys: 一个元组，包含按顺序指定要提取的键。
                     例如，('region', 'users', 'id') 表示从第一层字典取'region'，
                     从第二层（'users'列表中的字典）取'id'。
        """
        self._data = data
        self._keys = keys

    def __iter__(self):
        """
        返回迭代器自身，使得该类实例可被迭代。
        """
        return self._traverse()

    def _traverse(self):
        """
        私有方法，实现实际的遍历逻辑。
        使用yield关键字将遍历结果逐个返回，实现惰性求值。
        """
        # 假设keys至少包含3个元素，对应 data -> item1[keys[0]] 和 item1[keys[1]] -> item2[keys[2]]
        # 这里的实现是针对特定两层嵌套结构的示例，可根据实际需求扩展。
        if len(self._keys) < 3:
            raise ValueError("Keys must contain at least 3 elements for this specific traversal logic.")

        # 遍历第一层列表中的每个字典（例如，每个区域）
        for item1 in self._data:
            # 遍历第二层列表中的每个字典（例如，每个用户）
            # item1[self._keys[1]] 假设是一个列表，例如 'users' 列表
            for item2 in item1[self._keys[1]]:
                # 产出由第一层指定键和第二层指定键组成的数据对
                yield (item1[self._keys[0]], item2[self._keys[2]])

# 使用之前定义的数据
# data = [...] (同上文)

print("--- 提取区域和用户ID ---")
for item in NestIterator(data, 'region', 'users', 'id'):
    print(item)

print("\n--- 提取区域和用户名称 ---")
for item in NestIterator(data, 'region', 'users', 'name'):
    print(item)

--- 提取区域和用户ID ---
('EU', 1)
('EU', 2)
('NA', 1)
('NA', 2)
('NA', 3)

--- 提取区域和用户名称 ---
('EU', 'xyz')
('EU', 'foo')
('NA', 'bar')
('NA', 'foo')
('NA', 'foo')