分布式 | DBLE 新全局表检查实现浅析[通俗易懂]

小小码 • 2023-02-21 09:30 • 代码基础 • 阅读 144

大家好，我是考100分的小小码，祝大家学习进步，加薪顺利呀。今天说一说分布式 | DBLE 新全局表检查实现浅析[通俗易懂],希望您对编程的造诣更进一步.

分布式 | DBLE 新全局表检查实现浅析

作者：孙正方爱可生 DBLE 核心研发成员，拥有丰富的分布式数据库中间件开发、咨询以及调优经验，擅长数据库中间件问题排查和处理，对线上中间件部分排错有深入的实践与认知。本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

背景

在 dble 2.19.11.0 之前的版本中，继承于 Mycat 的实现，全局表检查是一个 server 级别的功能，并且通过在创建全局表的时候添加列 _dble_op_time 来进行实现。在实际使用中带来了许多棘手的问题。

开关不便
结果集处理不便
数据导入处理不便

在 dble 2.19.11.0 中，考虑到生产中实际使用的场景和定义情况，按照以下的几点要求，对于全局表检查进行了重新的设计：

检查开关在表格级别（只有部分表格需要检查）
检查触发的具体时间需要能精确定义
检查的方式要求可以自定义
检查方式自定义要求足够足够简单明确

实现原理

根据以上提供的明确要点，dble 引入了 quartz 框架来进行定时任务的时间控制，并且在 schema.table 级别的标签上添加了以下的几个可选项：

globalCheck
cron
globalCheckClass

并且在加载过程中，将每一个 table 的全局表检查，作为一个独立的定时任务加载到 quartz 中去，之后便交由 quartz 进行触发和执行。

而至于每一个独立的定时任务，则可以和其他的 dble 中的自定义功能一样，由用户自定义以下几个方法：

getCountSQL (全局表检查 SQL 执行定义)
getFetchCols (全局表检查结果集列定义)
resultEquals (全局表检查结果对比方法)
failResponse (全局表检查失败反馈方法)
resultResponse (全局表检查结果反馈方法)

具体的执行逻辑和流程如下图所示：

分布式 | DBLE 新全局表检查实现浅析[通俗易懂]

简单的描述为以下步骤：

start/reload 的时候将表格所配置的定时任务加入到 quartz 中
quartz 触发定时任务
实例化 AbstractConsistencyChecker 并执行
根据方法 getCountSQL 确定需要执行的 SQL，并将 SQL 下发执行
根据方法 getFetchCols 确定需要获取的 SQL 执行结果列
根据方法 resultEquals 对于不同 MySQL 上的检查结果进行对比
根据 failResponse 和 resultResponse 方法进行结果的反馈

全局表检查使用实例

当然，dble 内置了两种全局表检查的默认方法，并提供了对应的简称：

CHECKSUM
COUNT

顾名思义，以上的两种默认方法分别通过在不同的 MySQL 节点求取同名表的 checksum 值以及 count 的数量来进行比较不同 MySQL 节点上的数据的一致性。

具体则可以按照以下进行配置：

<!--dble内置CHECKSUM检查方式-->
<table name="tb_global1" dataNode="dn1,dn2" type="global" globalCheck="true" cron = "0 * * * * ?" globalCheckClass="CHECKSUM"/>
<!--dble内置COUNT检查方式-->
<table name="tb_global2" dataNode="dn1,dn2" type="global" globalCheck="true" cron = "0 * * * * ?" globalCheckClass="COUNT"/>

代码100分

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。
转载请注明出处: https://daima100.com/8841.html

分布式 | DBLE 新全局表检查实现浅析[通俗易懂]

背景

实现原理

全局表检查使用实例

相关推荐

发表回复