PostgreSQL CDC方案需配置wal_level=logical、使用wal2json等插件解析WAL，创建复制槽，结合Debezium将变更写入Kafka，再通过消费者同步至目标系统。
PostgreSQL 的变更数据捕获（Change Data Capture, CDC）是实现实时数据同步、数据仓库更新和事件驱动架构的关键技术。构建一个完整的 PostgreSQL CDC 方案，需要结合逻辑复制、解码插件、中间处理系统以及目标存储或消息队列。以下是实现该方案的完整路径。
1. 启用逻辑复制并配置WAL
PostgreSQL 的 CDC 基于预写日志（WAL）机制，必须启用逻辑复制才能解析行级变更。
关键配置项如下：- wal_level = logical：确保 WAL 记录足够详细，支持逻辑解码。
- max_wal_senders：设置足够数量以支持多个复制连接（建议 ≥5）。
- max_replication_slots：为每个复制流保留槽位（建议与消费者数匹配）。
修改 postgresql.conf 后重启数据库，并在目标数据库中创建具备 REPLICATION 权限的用户：
CREATE USER cdc_user WITH REPLICATION LOGIN PASSWORD 'secure_password';
2. 使用逻辑解码插件输出变更
PostgreSQL 支持通过逻辑解码（Logical Decoding）将 WAL 转换为可读格式。常用插件包括：
安装 wal2json（以 Ubuntu + PG 14 为例）：
sudo apt-get install postgresql-14-wal2json
创建复制槽以开始捕获：
SELECT * FROM pg_create_logical_replication_slot('slot_cdc', 'wal2json');测试读取变更：
SELECT data FROM pg_logical_slot_get_changes('slot_cdc', NULL, NULL, 'format-version', '2');3. 集成消息队列或流处理平台
为了实现高吞吐、解耦和实时分发，通常将变更事件发送到 Kafka 或 Pulsar 等消息系统。
推荐方案：使用 Debezium + Kafka Connect- Debezium 是基于 Kafka Connect 构建的开源 CDC 框架，原生支持 PostgreSQL。
- 它通过逻辑复制槽读取 WAL，并将变更事件发布到 Kafka 主题。
部署步骤：
- 启动 Kafka 和 Kafka Connect 集群。
- 安装 Debezium PostgreSQL Connector 插件。
- 提交连接器配置：
{
"name": "pg-cdc-connector",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"database.hostname": "localhost",
"database.port": "5432",
"database.user": "cdc_user",
"database.password": "secure_password",
"database.dbname": "your_db",
"database.server.name": "pgserver1",
"plugin.name": "wal2json",
"slot.name": "slot_cdc",
"publication.name": "dbz_publication",
"topic.prefix": "pgcdc",
"table.include.list": "public.users,public.orders"
}
}变更事件将以结构化 JSON 形式发布到 Kafka 主题，例如：pgcdc.public.users。
4. 消费变更数据并加载目标系统
Kafka 中的 CDC 数据可用于多种下游场景：
- 数据同步：通过 Kafka Connect JDBC Sink 将变更写入 MySQL、ClickHouse 或数据湖。
- 缓存失效：监听特定表变更，触发 Redis 缓存清理。
- 搜索引擎更新：将变更推送到 Elasticsearch。
- 事件驱动服务：使用 Flink 或 Spark Streaming 处理变更流，触发业务逻辑。
示例：使用 Kafka Connect 写入 ClickHouse：
"connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", "connection.url": "jdbc:clickhouse://clickhouse-server:8123/default", "topics": "pgcdc.public.users", "auto.create": "true"
基本上就这些。一个完整的 PostgreSQL CDC 方案依赖 WAL 配置、逻辑解码、可靠的消息管道和灵活的消费端。选择合适的工具链（如 Debezium + Kafka）可以大幅降低运维复杂度，同时保障数据一致性与低延迟。关键是管理好复制槽生命周期，避免 WAL 积压。
