开源项目丨Taier1.2版本发布,新增工作流、租户绑定简化等多项功能

开源项目丨Taier1.2版本发布,新增工作流、租户绑定简化等多项功能2022年7月26日,Taier1.2版本正式发布! 本次版本发布更新功能: 新增工作流 新增OceanBase SQL 新增Flink jar任务 数据同步、实时采集支持脏数据管理 Hive UDF

开源项目丨Taier1.2版本发布,新增工作流、租户绑定简化等多项功能

file

2022年7月26日,Taier1.2版本正式发布!

本次版本发布更新功能:

  • 新增工作流

  • 新增OceanBase SQL

  • 新增Flink jar任务

  • 数据同步、实时采集支持脏数据管理

  • Hive UDF

  • 控制台UI升级

  • 租户绑定简化

新版本的使用文档已在社区中推送,大家可以随时下载查阅,欢迎大家体验新版本功能(喜欢我们的项目欢迎大家点个Star),体验地址:

Github:

https://github.com/DTStack/Taier

Gitee:

https://gitee.com/dtstack_dev_0/taier

社区:

https://dtstack.github.io/Taier/

Taier1.2版本介绍

Taier 是一个大数据分布式可视化的DAG任务调度系统,旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier 脱胎于袋鼠云数栈,技术实现来源于数栈分布式调度引擎DAGScheduleX,是数栈产品的重要基础设施之一,负责大数据平台所有任务实例的调度运行。

2022年2月22日,Taier正式开源并发布1.0版本。

2022年5月8日,Taier1.1版本发布,更新对Flink的支持升级到Flink1.12,支持多种流类型任务等功能。

2022年7月26日,Taier1.2版本发布,本次发布重点新增工作流功能,实现配置化编排业务;租户简化绑定,不同类型计算组件无强制依赖等功能。

Taier1.2新增功能详解

1.新增工作流

通过可视化操作拖动任务节点到画板中,手动连接上下游任务组成依赖关系,形成一个DAG的工作流。同时支持任意类型的任务通过工作流拖拽的方式,直接实现配置化编排业务

file

2.新增OceanBase SQL

新增OceanBaseSQL 任务,支持OceanBaseSQL的任务调度和运维展示。

支持上传自定义开发的Flink jar任务,通过Taier提交运行和监控。

4. 数据同步、实时采集支持脏数据管理

数据同步、实时采集支持脏数据管理,可以配置脏数据数量限制和保存方式,可保存至数据库实时查看。

5.Hive UDF

Hive SQL 支持udf函数开发配置。

6.控制台UI升级

控制台交互和页面全新升级,通过树形结构展示组件配置信息,同时支持扩展自定义组件进行配置。

file

7.租户绑定简化

集群和租户绑定简化,移除租户对接集群schema的强制绑定关系,不同类型计算组件无强制依赖;优化任务开发流程逻辑,支持自定义扩展任务类型。

未来规划

Taier自今年2月份开源以来,已更新迭代Taier1.1、Taier1.2两个版本,目前Taier1.3的版本已在规划中,在新版本中我们将着重解决以下几个问题:

  • 支持Flink Standalone 不依赖Hadoop也可以使用Flink相关的功能,降低上手环境成本

  • 适配开发者Window环境,支持Window环境下的任务提交流程

  • DatouSourceX版本升级,新增更多的数据源类型支持

除了不断保持迭代更新外,Taier将持续保持每月一次开源技术直播,帮助Taier开发者们更好的使用产品,欢迎有兴趣的小伙伴们加入我们的交流社群(钉钉qun:30537511),一起交流Taier的技术问题及难点,和Taier一起共同进步!

袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack

原文地址:https://www.cnblogs.com/DTinsight/archive/2022/07/27/16523616.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/4965.html

(0)
上一篇 2023-05-28 15:30
下一篇 2023-05-28

相关推荐

  • mysql汇总和分组数据_sql 分组查询排名前三的记录

    mysql汇总和分组数据_sql 分组查询排名前三的记录10.3 汇总数据 我们经常需要汇总数据而不用把它们实际检索处出来,为此MySQL提供了专门的函数。使用这些函数,MySQL查询可用于检索数据,以便分析和报表的生成。这种类型的检索例子有以下几种: 确

    2023-01-23
    150
  • Python正则表达式可选项的使用

    Python正则表达式可选项的使用正则表达式是处理文本的强大工具,它可以在文本中定位特定的字符模式,并对这些模式进行操作。Python内置了re模块,可以使用正则表达式来处理字符串。在Python的正则表达式中,有很多可选项可以控制正则表达式的匹配方式。下面将会讨论一些常用的可选项,包括:

    2023-12-16
    111
  • mysql中key 、primary key 、unique key 与index区别【转】

    mysql中key 、primary key 、unique key 与index区别【转】一、key与primary key区别 解析: KEY wh_logrecord_user_name (user_name) 本表的 字段与 表`user_name`字段建立外键 括号外是建立外键的对

    2023-02-16
    152
  • 大数据批量键值查询怎样才会更快

    大数据批量键值查询怎样才会更快一般选择数据库来存放数据,并借助数据表的索引来加快检索速度。利用索引查找数据,即使数据总量达到有10亿,对于单条记录的查找效率大约在数十毫秒(复杂度为LogN)。但是,如果需要查询的键值很多,比如多…

    2023-03-12
    149
  • redis持久化rdb和aof_国学教育赵强

    redis持久化rdb和aof_国学教育赵强Redis 提供了多种不同级别的持久化方式: RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)。 AOF (Append-only file…

    2023-04-04
    154
  • SQL Server将多行数据合并为一行「终于解决」

    SQL Server将多行数据合并为一行「终于解决」一、引言 需求描述:现实工作中,有一些很特别的需求:在一个汇总表中,需要显示明细数据。因为是在汇总表中,所以明细数据只能显示在某一列中,这个列,就是多行数据合并为一行之后的结果。 案例描述:比如,在物

    2023-05-15
    134
  • python中dbn算法(dbf python)

    python中dbn算法(dbf python)dnn 从名字上你就可以看出来,是深度神经网络,类比于浅层神经网络,它的训练方法也是BP,没有引入无监督的预训练。隐层的激活函数使用了 ReLU,改善了“梯度弥散”,通过正则化+dropout 改善了过拟合的现象,在输出层 是softmax 作为激活函数。目标函数是交叉熵。

    2023-11-21
    123
  • mongo和mysql应用场景_kafka使用场景

    mongo和mysql应用场景_kafka使用场景https://www.cnblogs.com/linguoguo/p/10640179.html MongoDB: 更高的写入负载 默认情况下,MongoDB更侧重高数据写入性能,而非事务安全,Mo

    2023-02-10
    160

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注