使用COPY命令、临时删除索引、调整WAL参数、分批提交、优化表设计及并行化处理可显著提升PostgreSQL的ETL入库速度。
在使用 PostgreSQL 进行 ETL（抽取、转换、加载）流程时，入库速度常常成为性能瓶颈。尤其当数据量达到百万甚至千万级别时，常规的逐条插入方式效率极低。要提升 ETL 入库速度，需要从多个层面进行优化。以下是几种关键且实用的加速策略。
1. 使用 COPY 命令替代 INSERT
COPY 是 PostgreSQL 中最快的批量数据导入方式，远优于多条 INSERT 或批量 INSERT INTO ... VALUES (),(),()。
建议做法：
- 将清洗后的数据导出为 CSV、TXT 等文本格式。
- 使用 COPY table_name FROM '/path/to/file' WITH (FORMAT CSV, HEADER) 直接加载。
- 若在应用中操作，可使用 pg_copy_from() 接口（如 Python 的 psycopg2）实现流式传输。
注意：COPY 是超级用户或具备相应权限的操作，需确保权限配置正确。
2. 关闭索引和约束临时提升写入性能
在大批量数据写入期间，维护索引和外键约束会显著拖慢速度。
优化建议：
- 在数据加载前，先删除目标表上的非主键索引和外键约束。
- 完成数据导入后，再重新创建索引和添加约束。
- 重建索引时使用 CREATE INDEX CONCURRENTLY 可避免锁表（但不能在事务块中执行）。
示例：
DROP INDEX IF EXISTS idx_log_time;-- 执行 COPY
CREATE INDEX idx_log_time ON logs(log_time);
3. 调整 WAL 和 checkpoint 相关参数
PostgreSQL 的写入性能受 wal_level、checkpoint_segments、wal_buffers 等参数影响。
ETL 专用环境可临时调整：
- wal_buffers：增大至 16MB~32MB，提升 WAL 写入缓存。
- checkpoint_timeout：调高至 30 分钟以上，减少检查点频率。
- max_wal_size：设为较大值（如 2GB~4GB），避免频繁触发 checkpoint。
- synchronous_commit = off：牺牲一点持久性换取速度（仅限可容忍少量数据丢失的场景）。
任务完成后建议恢复默认值。
4. 分批提交与连接复用
即使不用 COPY，批量插入也应避免单条提交。
关键点：
- 每批提交 5000~50000 条记录，控制事务大小，防止日志膨胀。
- 保持数据库连接复用，避免频繁建立断开连接的开销。
- 使用预处理语句（Prepared Statement）提升解析效率。
例如在 Python 中结合 executemany() 与分块读取：
with conn.cursor() as cur:cur.executemany("INSERT INTO t VALUES (%s,%s)", batch)
5. 表设计优化
合理的表结构本身有助于加快写入。
- 尽量减少列数，移除不必要的字段。
- 避免使用触发器（尤其是写入期间）。
- 考虑使用 UNLOGGED 表（如果数据可接受重启丢失，如中间表）。
- 对大表采用分区表（Partitioning），COPY 可针对子分区并行加载。
6. 并行化处理
充分利用多核 CPU 和磁盘 IO 能力。
- 将源数据拆分为多个文件，用多个会话并行执行 COPY 到不同分区或临时表。
- ETL 流程中并行处理多个维度表或事实表。
- 注意控制并发数量，避免系统资源耗尽。
基本上就这些核心策略。实际优化时建议先分析瓶颈（IO？CPU？锁等待？），再针对性调整。结合 EXPLAIN ANALYZE 和数据库日志，能更精准定位问题。合理使用上述方法，PostgreSQL 的 ETL 入库速度可提升数倍甚至数十倍。
