pyarrow作为apache arrow项目的python接口，提供了高效的数据处理能力，尤其在处理大规模表格数据时表现出色。然而，在某些特定场景下，其功能可能存在局限。一个常见的挑战是，当尝试对包含列表（list）类型数据的列进行group_by操作时，pyarrow会抛出arrownotimplementederror。这意味着列表类型的数据不能直接作为分组键。
考虑以下示例数据，其中包含参与者ID和一系列列表数据：
import pyarrow as pa
import pyarrow.compute as pc
test_table_orig = pa.table([
pa.array(["a", "a", "a", "a", "a", "b", "b", "b", "b", "b", "c", "c", "c", "c", "c", "d", "d", "d", "d", "e", "e", "e", "e", "e", "f", "f", "f", "f", "f", "f"]),
pa.array([[1,1,1,1], [2,0,1,2], [3,2,1,0], [4,3,2,1], [4,3,2,1], [1,2,3,4], [1,2,3,4], [1,2,3,4], [1,2,3,4], [1,2,3,4], [5,4,3,2], [5,4,3,2], [5,4,3,2], [5,4,3,2], [4,3,2,1], [6,5,4,3], [6,5,4,3], [8,7,6,5], [9,8,7,6], [7,6,5,4], [7,6,5,4], [7,6,5,4], [7,6,5,4], [10,11,12,13], [11,12,13,14], [12,13,14,15], [33,44,55,66], [22,33,44,55], [55,66,77,88], [22,33,44,55]])
], names=["ID", "ListData"])
print("原始PyArrow Table:")
print(test_table_orig)如果尝试直接对ID和ListData列进行分组并计数，将会遇到以下错误：
try:
# 尝试直接对列表类型列进行分组
result = test_table_orig.group_by(['ID', 'ListData']).aggregate([('ListData', 'count')])
print(result.to_pandas())
except pa.lib.ArrowNotImplementedError as e:
print(f"\n错误：{e}")
print("PyArrow不支持直接将列表类型作为group_by的键。")输出会明确指出ArrowNotImplementedError: Keys of type list<item: int64>，表明PyArrow的聚合引擎目前不支持将列表类型作为分组键。
虽然将列表转换为字符串可以绕过这个限制，如以下示例所示：
test_table_string = pa.table([
pa.array(["a", "a", "a", "a", "a", "b", "b", "b", "b", "b", "c", "c", "c", "c", "c", "d", "d", "d", "d", "e", "e", "e", "e", "e", "f", "f", "f", "f", "f", "f"]),
pa.array(["[1,1,1,1]", "[2,0,1,2]", "[3,2,1,0]", "[4,3,2,1]", "[4,3,2,1]", "[1,2,3,4]", "[1,2,3,4]", "[1,2,3,4]", "[1,2,3,4]", "[1,2,3,4]", "[5,4,3,2]", "[5,4,3,2]", "[5,4,3,2]", "[5,4,3,2]", "[4,3,2,1]", "[6,5,4,3]", "[6,5,4,3]", "[8,7,6,5]", "[9,8,7,6]", "[7,6,5,4]", "[7,6,5,4]", "[7,6,5,4]", "[7,6,5,4]", "[10,11,12,13]", "[11,12,13,14]", "[12,13,14,15]", "[33,44,55,66]", "[22,33,44,55]", "[55,66,77,88]", "[22,33,44,55]"])
], names=["ID", "ListData"])
print("\n转换为字符串后的分组结果:")
print(test_table_string.group_by(['ID','ListData']).aggregate([('ListData','count')]).to_pandas())这种方法对于包含大量元素或元素值较长的列表来说，会产生非常长的字符串，导致显著的内存开销和性能下降。因此，需要一种更高效且符合PyArrow数据处理范式的方法。
解决此问题的核心思想是将列表的每个元素“展开”为单独的列。这样，我们就可以将这些新的、非列表类型的列与原始ID列一起作为分组键。这种方法特别适用于固定大小的列表。
实现步骤：
示例代码：
# 假设列表长度为4，我们可以动态获取列表的长度
# 对于本例，我们可以直接假定长度为4
list_length = 4
# 1. 提取列表元素为新列
# 使用字典推导式为每个列表元素创建一个新的计算列
# pc.list_element(array, index) 用于从列表数组中提取指定索引的元素
columns = {f'ListData_elem_{i}': pc.list_element(test_table_orig['ListData'], i) for i in range(list_length)}
# 2. 构建透视表
# 将原始ID列和所有新创建的元素列合并到一个新的PyArrow Table中
pivot_data = {'ID': test_table_orig['ID']}
pivot_data.update(columns)
pivot_table = pa.table(pivot_data)
print("\n透视后的PyArrow Table (前10行):")
print(pivot_table.slice(0, 10).to_pandas()) # 仅显示前10行，避免输出过长
# 3. 执行分组聚合
# 将ID列和所有新生成的元素列作为分组键
group_keys = ['ID'] + list(columns.keys())
counts = pivot_table.group_by(group_keys).aggregate([([],'count_all')])
print("\n分组聚合结果:")
# 为了更好的可读性，将结果转换为Pandas DataFrame
print(counts.to_pandas())输出结果：
分组聚合结果: ID ListData_elem_0 ListData_elem_1 ListData_elem_2 ListData_elem_3 count_all 0 a 1 1 1 1 1 1 a 2 0 1 2 1 2 a 3 2 1 0 1 3 a 4 3 2 1 2 4 b 1 2 3 4 5 5 c 5 4 3 2 4 6 c 4 3 2 1 1 7 d 6 5 4 3 2 8 d 8 7 6 5 1 9 d 9 8 7 6 1 10 e 7 6 5 4 4 11 e 10 11 12 13 1 12 f 11 12 13 14 1 13 f 12 13 14 15 1 14 f 33 44 55 66 1 15 f 22 33 44 55 2 16 f 55 66 77 88 1
这个结果与将列表转换为字符串后的分组结果完全一致，但避免了字符串转换带来的潜在性能和内存问题。
pyarrow.compute.list_element(array, index)是PyArrow计算模块中的一个核心函数，用于从一个包含列表（或嵌套结构）的数组中提取指定索引位置的元素。
该函数返回一个新的PyArrow数组，其数据类型与列表中的元素类型T相同。通过迭代不同的index值，我们可以将一个列表列有效地“扁平化”为多个标量列。
在PyArrow中，直接对列表类型数据进行group_by操作会遇到限制。通过巧妙地利用pyarrow.compute.list_element函数将固定大小列表的每个元素透视成独立的列，我们可以有效地绕过这一限制。这种方法不仅能够准确地实现对列表数据的频率统计和分组，而且相比于将列表转换为字符串的方案，在处理大数据量时通常具有更好的性能和内存效率。掌握这种数据透视技术，能够帮助开发者更灵活地处理PyArrow中复杂的嵌套数据结构。
以上就是PyArrow中对列表类型数据进行频率统计与分组的策略的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
179
收藏
