0

0

CloudCanal v5.3.0.0 发布,无惧海量表的数据实时迁移同步

花韻仙語

花韻仙語

发布时间:2025-11-28 18:33:17

|

732人浏览过

|

来源于php中文网

原创

cloudcanal 免费社区版 是由 clougence 公司自主研发的一款可视化自动化的数据迁移与同步工具,集成了 结构迁移数据迁移实时同步数据校验数据订正 等核心能力。产品全面支持 60+ 主流数据库及中间件,涵盖关系型数据库、实时数仓、消息队列、缓存系统和搜索引擎,其中包括国产主流系统如 oceanbasepolardbtidbstarrocksdoris 以及 rocketmq 等。

通过集成开源项目 CloudCanalProcess,用户可轻松实现以下扩展功能:

  • wide-table:宽表处理插件,支持事实表与单维度表的自动组合构建
  • data-transform:通用数据转换插件,支持字段增减、操作类型变更、数据清洗与回填
  • data-gather:分库分表、跨地域或垂直拆分场景下的数据实时汇聚
  • data-compare:基于源端变化实现业务级数据对账
  • business-alert:根据数据波动趋势触发智能告警机制

CloudCanal 在功能上对标阿里云 DTS、Amazon DMS、StreamSets 和 AirByte,致力于帮助开发人员、DBA 及运维团队高效搭建稳定可靠的数据链路。

CloudCanal v5.3.0.0 发布,无惧海量表的数据实时迁移同步

Play.ht
Play.ht

根据文本生成多种逼真的语音

下载

核心亮点

  • 支持 MySQL 到 MySQL/StarRocks/Doris/SelectDB/PostgreSQL 的表达式表名匹配,适用于超大规模表的批量迁移与同步
  • 新增 CloudCanal 控制台黑夜模式,提升夜间操作体验

新增链路支持

  • 开通 腾讯云 TDSQL MySQL → TDSQL MySQL 的全量同步、增量同步、数据校验、数据订正、结构迁移及 DDL 同步(包括加列、删列、modify、rename、truncate)

新功能上线

  • 支持 AWS RDS Oracle 的全量迁移与增量同步
  • Oracle/PostgreSQL/SQL Server 源端支持配置数据校验采样率(参数:checkSamplePercent),支持叠加过滤条件,暂不支持断点续传
  • 实现 MySQL → PostgreSQL 多 Schema 场景下的迁移与同步
  • TiDB 源端支持多个任务订阅同一张表,显著降低超大 Region 表拉取变更时出错的概率
  • 支持 MySQL/OceanBase for MySQL → OceanBase for MySQL 的 CHANGE COLUMN 类型 DDL 同步
  • 支持 MySQL → MySQL 场景下地理空间类型数据的同步
  • 支持在任务级别设置延迟告警 WebHook,便于对关键任务进行独立监控
  • 钉钉飞书、企业微信告警支持 "@所有人" 功能,可通过 配置 > 个人偏好 > CloudCanal > imAlertAtAll 参数开启
  • 语音告警支持通过代理发送,满足全内网环境用户的使用需求
  • 支持将迁移同步节点上的任务日志和主机日志上传至 S3 或 OSS(通过 配置 > 个人偏好 设置存储信息),助力故障排查
  • 支持将任务参数导出为 Excel 文件保存,便于审计与问题追踪
  • 支持导出全量性能、增量性能及机器监控图表为图片
  • 支持修改订阅批量操作中黑名单的生效范围(已订阅表 / 新增表)
  • 支持将现有任务参数保存为模板,并在应用模板时预览内容
  • 提供开放 API 接口(/schema/listTransObjsByMeta),支持按源端和目标端库表信息查询相关任务

体验优化

  • 优化任务处于“删除中”状态时的操作限制,避免误操作
  • 优化任务参数模板的创建、查询与删除流程
  • 完善模板配置项的白名单规则管理
  • 改进创建任务时选择目标表的交互逻辑,提升易用性

缺陷修复

  • 修复 TiDB 源端增量同步时无符号 Decimal 类型解析异常的问题
  • 修复任务参数页面未展示待创建参数的问题
  • 修复未激活状态下提示文案错误的问题
  • 修复在搜索并手动勾选模式下修改映射规则或表名接口调用异常的问题
  • 修复消息源端创建任务最后一步界面显示异常的问题
  • 修复消息源端任务黑名单操作按钮未隐藏的问题
  • 修复消息对端数据库列表 action 过滤按钮未隐藏的问题
  • 修复 Kafka 测试连接时无法获取 Topic 列表的问题
  • 修复设置自定义主键后虚拟列影响汇聚逻辑主键生成的问题
  • 修复个人偏好中 IM 验证签名无效的问题
  • 修复修改邮箱、手机号、密码时报错信息未正确显示的问题
  • 修复异步操作(如创建、重跑、删除任务)失败后仍允许启动任务,导致状态机紊乱的问题
  • 修复创建任务时无法选择表的原因未正常提示的问题
  • 修复开启条件过滤下推后,“下一步/上一步”按钮状态缺失的问题
  • 修复 MySQL 获取最新位点后确定按钮不可点击的问题
  • 修复创建任务指定虚拟列时,若对端存在同名列会导致增量写入为空的问题
  • 修复达梦数据库因 DDL(ADD LOGIC LOG)解析错误引发结构快照异常的问题
  • 修复达梦源端数据过滤配置不生效的问题
  • 修复手动添加阿里云数据源时缺少实例 ID,导致自动建库、IP 白名单等依赖 OpenAPI 的功能失败的问题
  • 修复存量任务查看库表映射时,操作黑名单显示异常的问题
  • 修复超长单行日志导致浏览器卡死或崩溃的问题
  • 修复 MQ/Elasticsearch 对端修改订阅时新增库“确定”按钮无法点击的问题

免费下载与使用

源码地址:点击下载

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

681

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

320

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

347

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1095

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

357

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

676

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

575

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

416

2024.04.29

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

72

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.8万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 801人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号