采用时间分区与LIST分区结合,拆分大表以降低写入压力;2. 通过批量插入、异步提交减少I/O开销;3. 使用pgBouncer连接池和消息队列缓冲写入,避免直连爆炸;4. 精简索引、优化表结构,必要时使用unlogged表提升速度;5. 核心是分治、批量、异步,避免设备直连冲击数据库。

面对百万级设备接入的场景,PostgreSQL 要支撑高并发写入,必须从架构设计、表结构优化、写入策略和硬件资源等多个层面协同优化。单纯依赖默认配置很难应对每秒数万甚至更高的插入请求。以下是关键优化方向和实践建议。
分区表 + 时间分区提升写入效率
百万设备持续上报数据,数据量增长极快。使用分区表是必须的,尤其是按时间(如每天或每小时)进行范围分区。
- 将大表拆分为多个小分区,写入操作可分散到不同子表,减少锁争抢和索引维护开销
- PostgreSQL 10+ 支持声明式分区,语法简洁,性能好
- 结合 LIST 分区 按设备组或区域划分,进一步降低单个分区压力
- 定期归档或删除旧分区,避免历史数据拖累写入性能
批量写入 + 异步提交降低 I/O 压力
逐条 INSERT 会极大增加 WAL 写入和事务开销。应尽量合并为批量插入。
- 客户端收集多条数据后使用 INSERT INTO ... VALUES (...), (...), (...) 批量提交
- 每批 100~1000 条较为合理,避免事务过大导致锁或回滚段压力
- 设置 synchronous_commit = off 可显著提升吞吐,但有小概率丢失最近几秒数据
- 配合 commit_delay 和 commit_siblings 参数,让多个事务共享一次 WAL 刷盘
连接池与写入分流
百万设备若直连数据库,连接数爆炸。必须通过中间层缓冲和聚合。
- 使用 pgBouncer 作为连接池,限制实际后端连接数,避免数据库崩溃
- 引入消息队列(如 Kafka、RabbitMQ),设备数据先写入队列,再由消费者批量导入 PostgreSQL
- 写入服务可横向扩展多个 worker,各自处理不同设备段的数据,实现并行写入
- 考虑使用 TimescaleDB 插件,专为时序数据优化,自动管理分区和压缩
表结构与索引优化
写多读少的场景,索引越多写入越慢。需精简索引,选择合适字段类型。
- 主键建议使用 GENERATED ALWAYS AS IDENTITY 或 UUID,避免自增锁竞争
- 只在查询必需的字段上建索引,特别是时间戳和设备 ID
- 使用 TOAST 机制存储大字段,或将大字段分离到扩展表
- 考虑使用 unlogged table 如果允许重启后丢失数据,写入速度可提升 2~3 倍
基本上就这些。核心思路是:分而治之、批量处理、异步化、减少锁和 I/O 开销。只要设计得当,PostgreSQL 完全能支撑百万设备的高并发写入场景。关键是别让所有设备“一窝蜂”直接怼进数据库。不复杂但容易忽略。









