数据传输 | DTLE Release Notes 详细解读 2.19.11.0「建议收藏」

数据传输 | DTLE Release Notes 详细解读 2.19.11.0「建议收藏」2.19.11.0 版本 DTLE Release Notes 以下对 DTLE 2.19.11.0 版本的 Release Notes 进行详细解读。 文章主要分为四部分内容: 一、DTLE 项目…

数据传输 | DTLE Release Notes 详细解读 2.19.11.0「建议收藏」

​2.19.11.0 版本 DTLE Release Notes

以下对 DTLE 2.19.11.0 版本的 Release Notes 进行详细解读。 文章主要分为四部分内容: 一、DTLE 项目介绍 二、版本特征 三、Bug 修复 四、DTLE Release Notes

一、DTLE 项目介绍

11月28日,开源数据传输组件 DTLE 最新版本 2.19.11.0 发布。 DTLE 自开源起一直定位于一款针对 MySQL 使用特点、支持多种使用场景的数据传输组件,希望能够解决当前 MySQL 应用中保障数据传输质量、能够适配复杂场景、提供多样功能的问题。

跨数据中心的数据传输:

  • DTLE 能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本

云间数据同步/迁移:

  • DTLE 能提供在公有云间架设数据同步通道,以支持数据容灾等需求

数据汇聚:

  • DTLE 能将多个数据源汇聚到同一个数据源,以提供数据分析/数据转储的功能

数据订阅:

  • DTLE 能将数据源的变更消息发往 Kafka 等消息中间件,以支持数据订阅通知/缓存失效通知等需求

跨数据中心的双向复制:

  • DTLE 能在数据中心间提供双向复制通道,以配合业务实现数据双写

DTLE 官方项目: https://github.com/actiontech/dtle 如对源码有兴趣或者需要定制的功能的可以通过源码编译安装。

DTLE 官方文档: https://actiontech.github.io/dtle-docs-cn/

DTLE 下载地址: https://github.com/actiontech/dtle/releases

Tips:建议下载最新的 Releases 版本,下载 tar 压缩包即可,如有源码编译需求的,可以下载源码包

二、版本特征

  • 中继二进制日志(#475)
    • dtle 会将二进制日志从源端 MySQL 下载到本地存储。以防源端 MySQL 上执行 PURGE BINARY LOGS (清空二进制日志)。
  • 允许使用 binlog 文件和位置(即不使用 GTID)开始增量复制作业
  • 查看文档中job.json 的新选项:BinlogRelayBinlogFileBinlogPos
  • 初步支持 MySQL 8.0(#487)
  • 更改日志系统
    • 支持动态更改日志级别
    • 日志格式更新
    • 支持日志文件轮替

三、Bug 修复

  • 增加 BinlogEntrySize 方式错误,可能导致任务失败(#499)
  • 因 “empty nats” 导致的任务失败(#433)
  • 当表的增量复制中没有主键时任务可能会失败 (#488)
  • 当库表名包含特殊字符时任务可能会失败 (#476)
  • 增量阶段任务卡住 (1bee6d31)
  • 库表名映射任务可能失败 (#481)

四、Release Notes

Features

  • Binlog Relay (#475)
    • dtle can download binlog from source mysql to local storage in case of PURGE BINARY LOGS on source mysql
  • Allow starting a incremental job with binlog file & position (without GTID)
  • Check the doc for new job.json options: BinlogRelay, BinlogFile, BinlogPos
  • Preliminary support for MySQL 8.0 (#487)
  • Change log system
    • support for dynamic updating of log levels
    • log format update
    • support log file rotation

Bugfixes

  • Binlog entry size was wrongly incremented (#499)
  • Job dead due to “empty nats” (#433)
  • Job dead in incremental copy of tables without a primary key (#488)
  • Job dead when schema.table contains special characters (#476)
  • Job stuck in incremental stage (1bee6d31)
  • Job with schema.table mapping might fail (#481)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10689.html

(0)
上一篇 2022-12-23
下一篇 2022-12-23

相关推荐

  • Oracle中关于视图-序列-同义词-索引的详解

    Oracle中关于视图-序列-同义词-索引的详解一.视图 1.什么是视图 简单来说 视图就是一个虚拟表,实体表的映射 什么时候使用视图 在开发中,有一些表结构是不希望过多的人去接触,就把实体表映射为一个视图。(表结构简化) 在项目过程中,程序人员…

    2023-03-07
    132
  • Python学习之路:打造高效编程思维

    Python学习之路:打造高效编程思维作为一门高效、易用、广泛应用的编程语言,Python吸引了越来越多的开发者的关注。在学习Python的过程中,除了熟练掌握语法和基本编程知识外,还需要培养高效编程思维。本文将从多个方面介绍如何打造高效的Python编程思维。

    2024-01-23
    93
  • MySQL学习笔记(10):视图

    MySQL学习笔记(10):视图本文更新于2019-06-22,使用MySQL 5.7,操作系统为Deepin 15.4。 为了便于描述,此处将创建视图的DDL复述一次,其已于“SQL”章节描述。 CREATE [OR REPLAC

    2023-03-17
    189
  • Python Series排序

    Python Series排序在计算机编程领域中,排序(Sorting)是一种基础算法。其主要目的是将一组数据按照预设的规则进行排列。排序起源于计算机诞生的早期,至今依然广泛使用。对于常用的编程语言Python,其排序功能也是非常强大。

    2024-05-12
    73
  • 用python访问wsdl服务(python wss连接)

    用python访问wsdl服务(python wss连接)最近做接口对接,遇到了.net开发的webservice接口,因为python第一次与webservice对接,连问带查,最后使用suds库来实现了

    2023-10-25
    143
  • SQLite读写为什么冲突_数据库访问

    SQLite读写为什么冲突_数据库访问使其多读多写的并发访问成为可能

    2023-04-16
    199
  • 全方位认识HBase:一个值得拥有的NoSQL数据库(一)[通俗易懂]

    全方位认识HBase:一个值得拥有的NoSQL数据库(一)[通俗易懂]前言: 说起HBase这门技术,在认知上对于稍微接触或使用过它的人来讲,可能只是百千数据库中一个很普通的库,大概就像我对Redis的认知一样:缓存嘛!可对于HBase,我确实是带着某些感情在的。今日突

    2023-02-18
    146
  • PCrNi3MoVA钢

    PCrNi3MoVA钢PCrNi3MoVA是一种应用广泛的高强度钢,主要应用于炮筒和小型炮后备箱的制造. 锻圆,轧圆,GJB标准。 利用直径10 mm的整体硬质合金铣刀高速侧铣PCrNi3MoVA钢时的铣削力,以及加工后…

    2023-03-20
    159

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注