5分钟搞定ORACLE到ClickHouse数据迁移同步-CloudCanal实战[亲测有效]

大家好，我是考100分的小小码，祝大家学习进步，加薪顺利呀。今天说一说5分钟搞定ORACLE到ClickHouse数据迁移同步-CloudCanal实战[亲测有效],希望您对编程的造诣更进一步.

5分钟搞定ORACLE到ClickHouse数据迁移同步-CloudCanal实战

简述

ClickHouse 是一种流行的列式数据库，对于计算 uv、mv、pv 等聚合类数据相当友好，所以广泛使用于各类报表场景。

本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 ORACLE 到 ClickHouse 数据同步链路。
示例中 ORACLE 库为 PDB 模式, ClickHouse 为单副本实例。

CloudCanal 对于 ORACLE 源端增量同步采用 LogMiner 分析 redo 日志或物化视图/类trigger 方式进行。
对于前者，我们采用了多种优化方式，将 ORACLE 源端增量同步做到准确、稳定、性能几个方面的平衡，这些技术包括：

采用 LogMiner 最标准的方式( ADD_FILE)作为默认解析方式，同时辅以 CONTINUOUS_MINE作为补充（有 ORACLE 版本限制）
采用全事件消费模式保障 ORACLE 稳定
支持本地存储以缓存超大变更数据，并采用手动指定序列化/反序列化器让数据存取更可靠
采用更加全面的 redo SQL 解析器提升解析准确性
支持事件合并，批量交付对端写入，大幅提升数据写入性能
支持 DDL 同步（部分链路），部分减少数据同步链路运维压力
支持位点回拉，让数据消费错误有机会得以弥补
支持全量数据校验，让数据质量得到更好的监测
支持任务编辑，让长周期运行的数据同步任务更平滑地应对同步对象的变化
加强的监控指标，让同步状态更加明了
缩小的数据库权限，让风险进一步缩小

围绕 ORACLE 数据库的周边生态，我们希望能够做到 GoldenGate 一样强大甚至超出，相关产品技术不断迭代演进。

CloudCanal 对于 ClickHouse 高性能写入技术，主要结合列存的特点、常见业务场景流量特点、用户使用和理解的便利性 3 方面进行选择与平衡。

列存相对行存的特点:

常见业务场景流量特点：

用户使用和理解便利性：

针对上述3个方面的特点，我们采用了以下一些技术达成平衡

insert/update 走 APPEND 方式(批量写入)，delete 走 ALTER TABLE ，性能好，但需要 OPTIMIZE 或查询带 FINAL
完全一致通过自定义代码拆分 update 为 delete 和 insert 达成，但性能降低
默认采用 ReplacingMergeTree 达成数据去重
支持并行批量写入(但更复杂些)