Python怎样操作Parquet文件？pyarrow高效读写

pyarrow

pyarrow

pyarrow

pyarrow.Table

import pyarrow as pa
import pyarrow.parquet as pq
import pandas as pd
import numpy as np

# 假设我们有一些数据，可以是Pandas DataFrame
data = {
    'id': [1, 2, 3, 4],
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'value': [10.5, 20.1, 15.0, 25.8],
    'timestamp': pd.to_datetime(['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'])
}
df = pd.DataFrame(data)

# 将Pandas DataFrame转换为pyarrow Table
# 这一步很关键，pyarrow会自动推断Pandas的类型到Arrow类型
table = pa.Table.from_pandas(df)

# 写入Parquet文件
# 这里可以指定压缩方式，比如'snappy'、'gzip'、'brotli'、'zstd'
# 'snappy'通常是性能和压缩比的良好平衡
pq.write_table(table, 'my_data.parquet', compression='snappy')
print("数据已成功写入 my_data.parquet")

# 如果想分块写入，或者处理非常大的文件，可以考虑ParquetWriter
# with pq.ParquetWriter('large_data.parquet', table.schema) as writer:
#     writer.write_table(table_chunk_1)
#     writer.write_table(table_chunk_2)
#     # ... 这种方式适合流式写入，但对大多数日常使用，直接write_table更方便

pyarrow

pyarrow.Table

# 从Parquet文件读取数据
read_table = pq.read_table('my_data.parquet')
print("\n从Parquet文件读取的数据：")
print(read_table)

# 如果想转回Pandas DataFrame，也很方便
read_df = read_table.to_pandas()
print("\n转换回Pandas DataFrame：")
print(read_df)

# 有时候你可能只想要读取部分列，或者根据条件过滤行，pyarrow也支持
# 比如，只读取 'name' 和 'value' 列
partial_table = pq.read_table('my_data.parquet', columns=['name', 'value'])
print("\n只读取部分列的数据：")
print(partial_table)

# 甚至可以利用Parquet的列式存储特性进行高效过滤（下推谓词）
# 不过，这需要文件本身有统计信息，并且查询条件能被Parquet引擎理解
# read_table_filtered = pq.read_table('my_data.parquet', filters=[('value', '>', 20)])
# print("\n过滤后的数据：")
# print(read_table_filtered)

pq.read_table