数据迁徙同步对象 CloudCanal v5.3.1.0 宣布，支撑金仓数据库

CloudCanal 免费社区版 是 ClouGence 公司推出的一款全自研、可视化、主动化数据迁徙同步对象，具备 构造迁徙、数据迁徙、数据同步、数据校验、数据校勘 等功能，支撑 60+ 款风行关系型数据库、及时数仓、消息中心件、缓存数据库和搜刮引擎之间数据互通，个中包含国产数据库 OceanBase、PolarDB、TiDB、StarRocks、Doris、RocketMQ、达梦等。

结合开源项目 CloudCanalProcess ，可便利实现如下功能：

• wide-table : 打宽表数据处理插件，重要包含事实表和单维表组合处理
• data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
• data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行及时汇聚
• data-compare : 数据比较插件，根据源端数据变更进行营业对账
• business-alert : 营业告警插件，根据数据变更趋势做出响应告警

CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开辟、DBA 或运维同窗快速构建在线数据应用。

亮点

• 全新支撑 KingbaseES V8/V9 源端

新链路

• 优化 修改订阅流程，新增二次确认弹窗

• 开放 KingbaseES V8/V9 -> MySQL/StarRocks/Doris/SelectDB 全量同步/增量同步/数据校验/数据校勘/构造迁徙/DDL 同步（加列/减列/modify/rename/truncate）

• 开放 KingbaseES V8/V9 -> ClickHouse 全量同步/增量同步/数据校验/构造迁徙/DDL 同步（加列/减列/modify/rename/truncate）

• 开放 OceanBase For MySQL -> Oracle 全量同步/增量同步/数据校验/数据校勘/构造迁徙/DDL 同步（加列/减列/modify/rename/truncate）

• 开放 Doris/SelectDB -> Doris/SelectDB 全量同步/数据校验/数据校勘/构造迁徙

新特点

• 支撑 控制台元数据库为 OceanBase For MySQL/TiDB/PolarDB MySQL/TDSQL-C MySQL 等 MySQL 协定兼容数据库

• 支撑 义务创建及已有义务对迁徙同步对象做反复订阅检测，便应用户精简义务数量

• 支撑 MySQL 源端 RENAME_COL 类型 DDL，并且支撑 StarRocks（>= 3.3.2）对端同步该类型 DDL

• 支撑 MySQL 解析 binlog 时跳过不支撑的 variable part 事宜

• 支撑 Hana -> Doris，OceanBase -> StarRocks 虚拟列功能

• 支撑 Doris/SelectDB -> MySQL 数据校验/数据校勘

• 支撑 DB2 源端元数据检索，便应用户查阅订阅关系

• 支撑 DB2 源端机能参数的模板白名单

• 支撑 达梦源端设置事务超时后主动提交的时光（参数：autoCommitTxTimeoutSec）

• 支撑 达梦源端花费位点与最新的 Arch 日记保持必定距离（参数：fallBackLsnStep）

• 支撑 达梦源端显示最新提交延迟，快速断定事务没提交导致的义务延迟

• 支撑 Doris 为对端，构造迁徙可设置分区信息，包含主动/手动 RANGE 分区、LIST 分区

• 支撑 ElasticSearch 目标端 completion 类型

• 支撑 创建义务时表、字段映射规矩新增驼峰转下划线格局、下划线转驼峰格局

• 支撑 创建义务、添加数据源撤消测试连接

优化

• 优化 数据库映射树形模式下对于待创建状况的展示

• 修复 MySQL 源端大年夜小写不敏感设备下，同步表名含大年夜写字母时元数据映射缺点的问题

• 优化 MySQL 源端同步 OnlineDDL 默认应用 DDL Convert 逻辑，大年夜幅晋升 Online DDL 同步的兼容性

• 优化 MySQL 源端构造迁徙过滤不法 datetime/timestamp 默认值

• 优化 MySQL 全量多 schema 数据迁徙连接池初始化逻辑，解决启动慢、连接数占用多的问题

• 优化 MySQL 源端不法 date/datetime/timestamp 数据剖断逻辑

• 优化 PostgreSQL 全量迁徙支撑多主键表应用主键分页查询 （原为 snapshot read）

• 优化 SQL Server 延迟展示的时区偏移问题

• 修复 创建类似义务数据库映射校验不完全，漏掉落部分校验场景，导致直接进入下一步的问题

• 优化 SQL Server 源端 2014 以下版本默认 SnapshotRead 设置为 ture，扫描动作为快照读

• 优化 SQL Server/Oracle 义务启动时获取表元数据定义逻辑，晋升获取速度(10x)

• 优化 Doris/StarRocks 对端校验 maxInSizePerQuery 参数默认值为1024

• 优化 DB2 源端全量扫描，采取同一架构，和其他数据源保持一致

• 优化 DB2 源端启用快照读时不再获取位点范围，解决由此激发的超时问题

• 优化 DB2 源端元数据读取，采取分页方法以支撑大年夜量表获取元数据

• 优化 Hana 源端增量权限预检缩小到表级别

• 优化 达梦源端日记打印，新增 V$LOGMNR_CONTENTS 查询耗时统计

• 优化 输入缺点/不存在路由时，重定向到义务列表

• 优化 前端单个请求超不时光延长为 1 小时

• 支撑 SQL Server 源端心跳，解决源端无任何写入延迟问题

• 优化 Console 和 Sidecar 的主动运维操作连接信息的显示问题

• 优化 批量操作黑名单，假如没有新增表，禁用新增表生效范围

• 优化 创建义务时大年夜范围表（2 万+）下的表选择机能，晋升全选表时浏览器的稳定性

问题修复

• 优化 后端同时多个接口报错，会将全部的报错信息收集起来，可在一个弹窗内翻页查看

• 修复 Oracle 添加数据源用户名设备为 username as role （.e.g. sys as sysdba）导致的连接问题

• 修复 Oracle 无束缚表增量同步阶段对端无法插入雷同业的问题

• 修复 获取 Oracle index 列时，未限制列 owner 导致缺点获取到其他 Schema 同名 index 列的问题

• 修复 PostgreSQL 源端增量开启强类型同步后解析公元前的 timestamp with/without time zone 数据掉败的问题

• 修复 OceanBase/OceanBase for Oracle 源端 LogProxy 办事过程退出后增量同步义务无穷重连的问题（新增参数 logProxyMaxReconnectTimes）

• 修复 OceanBase for Oracle 源端解析 DDL 掉败导致日记监听客户端停止，但义务过程仍存活的问题

• 修复 DB2 源端子义务归并后，主义务无法启动的问题

• 修复 DB2 源端修改位点不生效的问题

• 修复 添加虚拟列列值为转化表达式时支撑脚本展示缺掉的问题

• 修复 SQL Server 源端义务创建时状况机状况异常，导致位点无法正常初始化的问题

• 修复 创建类似义务切换对端后，数据处理时会勾选目标端不支撑的列的问题

• 修复 撤消主动进级 Sidecar 调用接口参数损掉的问题

• 修复 Doris 源端表信息不显示 UK 标识的问题

• 修复 对端 StarRocks 分区设置 PARTITION BY 之间存在多个空格时构造迁徙分区信息损掉的问题

• 修复 Sidecar 主动安排应用高权限账号，导致安排目次权限缺点的问题

• 修复 API 分页获取义务列表信息，排序方法为空时报错的问题

• 修复 ElasticSearch 目标端 DDL 加列履行掉败的问题

• 修复 数据库映射树形模式下编辑单库无效的问题

• 修复 控制台运维动作表单校验未完成也可以或许提交的问题

• 修复 义务详情中位点信息超长时，内容衬着异常的问题

• 修复 报错接口可以快速反复点击，短时光触发大年夜量请求的问题

• 修复 弹窗在浏览器回退的时刻不会封闭的问题

• 修复 分区表达式接口 404 的问题

• 修复 创建类似义务切换对端后，表选择时会勾选目标端不支撑的表的问题

• 修复 创建义务/创建类似义务，切换对端的 schema 后，表&action过滤页面的目标表信息没有刷新的问题

• 修复 消息类源端修改订阅/创建类似义务，点击页面上的全选按钮，对端表会出现待创建的问题

• 修复 消息类源端到 PostgreSQL/SQL Server 修改订阅控制台报错的问题

• 修复 消息类源端到 Oracle 修改订阅加 Topic，对端映射没有下拉框的问题

• 修复 PostgreSQL 全量迁徙 smallint/integer/number/bigint 类型主键产生隐式转换导致索引掉效的问题

• 修复 PostgreSQL 增量开启强类型无法同步 UPDATE 事宜的问题

• 修复 PostgreSQL 对端开启强类型写入公元前 Timestamp with time zone 与源端不一致的问题