dolphinscheduler源码分析_apache parquet

dolphinscheduler源码分析_apache parquet点亮 ⭐️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler ​ 版本发布 感谢本次的 Release Mana

Apache Dolphin Scheduler 3.0.1 发布,对核心及UI相关进行优化

点亮 ⭐️ Star · 照亮开源之路

GitHub:https://github.com/apache/dolphinscheduler

dolphinscheduler源码分析_apache parquet

版本发布

感谢本次的 Release Manager –@zhuangchong,是他主导了我们这个版本的发布流程,引导社区进行版本内容沟通,发版前的问题跟踪,blocking issue 处理,版本质量管理等,感谢@zhuangchong为社区的付出,也期待其他 CommitterPMC 能够一起参与到 Release Manager 的角色中来。

在3.0.0 正式版本发布1个多月之后,期间社区也紧锣密鼓的进行着新版本的迭代的筹备,通过用户访谈对一线的建议、意见反馈进行收集,作为3.0.1版本的核心开发点,我们约谈了多个企业,社区收集了上百条 issue PR近30位贡献者参与,推出了大家期盼已久的3.0.1版本,该版本对于UI以及调度内核做了些许调整,同时也修复了一些3.0.0版本存在的bug,非常欢迎社区的小伙伴参加到社区的共建中。

Release note:

https://github.com/apache/dolphinscheduler/releases/tag/3.0.1

核心相关 Core Related

  • 工作流执行可运行将面临无限循环

  • 升级时提示数据库字段存在问题

  • 普通用户不能创建依赖任务

  • 任务、工作流实例优先级导致 NPE

  • Dependent 下游错误触发

  • 修复工作流实例可能多次故障转移

  • 任务组获取任务状态为运行错误

  • 修复worker 杀任务触发 OOM

UI相关优化 UI-related optimization

  • 工作流列表名称显示重叠

  • 工作流实例不支持运行

  • 数据源修改端口报错

  • 工作实例操作不在同一行

  • 显示工作流名称

资源中心 Resource Center

资源中心 defaultFs 配置失效问题

文档相关 Documentation Related

增加了部分提醒性语言,如上传文档时候的全路径、standalone 默认资源中心的使用;

更正了原本错误的文档,如 工作流相关描述、创建 worker group相关、 python api 跳转链接、部分拼写错误、社区 email slack 链接;

Python API

本次主要增加了python 10 和 python 11-dev 支持,修复了 switch 任务类型,sql 任务 truncate 语法识别错误问题。同时修复了 python api 只有最新版文档的问题

BUG Fix

  • [Improvement][UI] Unified local parameters UI #11190

  • [Fix][UI] Fix bug where icons are displayed in one line. #11320

  • [Improvement-11386][UI] Concise the logic available for task action buttons #11419

  • [Fix][UI] Fix the preTask options are unavailable when creating a tas… #11501

  • S3 Resource center supports bucket customization (#12022)

  • fix status check issue (#11580) (#12030)

  • [LDAP] Config value should return real null instead of “null” string (#12031)

  • [3.0.1-preapre][cherry-pick]3.0.1 UI (#12020)

  • [Fix][UI] Fix bug where crontab special of month and year #11661

  • [UI] Enable highlight and auto-complete for SQL scripts #11659

  • [Fix][UI] Fix the problem that the pagination component is not centered in the environment management. #11646

  • [Fix][UI] Fix the port in the datasource edit. #11624

  • [Fix][UI] Fix the table header in the workflow instance. #11487

  • [Fix][UI] Fix bug where warn group name not display #11429

  • [Feature-10117][UI] Hide node execution when start from the workflow definition list page #11372

  • [Fix-11366][UI] Workflow instance should not support right-click running #11367

  • [fix-10961]Change the content of alert to an array (#11033)

  • [Fix][UI] Fix workflow name overlaps bug (#11862) (#12019)

  • [Bug] [Worker] Optimize the getAppId method to avoid worker OOM when kill task (#11994)

  • fix heartBeatTaskCount bug (#12024)

  • Fix kill task failed will cause the taskGroup cannot release and add taskGroup log (#11469) (#12013)

  • Workflow Definition Name Change Validation Optimization. (#11986)

  • add unit test ci timeout (#11655) (#12021)

  • [helm] fix worker template persistentVolumeClaim link (#11248) (#12018)

  • Set master”s task running status in runTask to avoid the task group acquire failed, but the task status is in running (#11451) (#12011)

  • [python] Refactor structure to avoid cycle import (#11167)

  • [python] Add support interpreter version 310 and 311-dev (#11170)

  • [bug][python] Fix task switch error when default branch not defined last (#11606)

  • [fix][python] Sql pattern add truncate. (#11666)

  • Add dependent task instance log (#11541) (#12014)

  • If the task processor is not found need to throw error rather than exception (#11461) (#12012)

  • Fix workflow instance may failover many times due to doesn”t check the restart time (#11445) (#12010)

  • Fix find last process instance in dependent task is not correct (#11424) (#12009)

  • Fix quartz threadPriority config name error (#11596) (#12015)

  • [Fix-11413] Cannot set task status to kill if the task is not in running(#11414) (#12007)

  • Clear thread name in BaseTaskProcessor (#11422) (#12008)

  • Bug Dependent downstream trigger error when schedule cycle not day. (#11987)

  • [CI] Fix cluster test abnormal (#11688) (#11985)

  • [Improvement-11380][scp-host.sh] Set StrictHostKeyChecking=no option to ssh (#11382) (#11995)

  • optimize the process instance query, change the date time range (#11719) (#11991)

  • [Fix-11051][Task]Fix the process exitValue exception when the process times out and th… (#11099) (#11983)

  • [fix-11404]: make the common.properties to configurable on values.yaml (#11441) (#11967)

  • ][fix-11452][Bug] [Logger Server] Incorrect password regular expression (#11993)

  • Remove logger header in task log file (#11555) (#11968)

  • [Bug] [API] The task priority and process instance priority might be null and cause NPE (#11969)

  • [Bug] [spark-sql] In spark-sql, select both SPARK1 and SPARK2 versions and execute /bin/spark-sql (#11971)

  • Update dolphinscheduler_ddl.sql (#11974)

  • [fix-#11815] fix ck column names contain special characters (#11973)

  • [Bug][Workflow Definition] fix ordinary users can not create depend task (#11961) (#11976)

  • [Fix-11877][UI] Fix the problem that the environment cannot be delete (#11934)

  • [fix-10938]: use dot to replace source and make the default env work in shell (#11937)

  • fix hdfs defaultFs not working (#11823) (#11936)

  • [Quartz] cron did not work as expected (#11932)

  • [Bug] [Master] WorkflowExecuteRunnable will face a infinite loop #11838 #11864 (#11949)

  • [Bug-#11650][worker] #11650 fix SQL type task, stop task does not take effect (#11938)

  • [Fix][db] fix init&upgrade mysql-meta-schema bugs #11887 (#11933)

  • Process definition length too long when copy or import #10621 (#11893)

DOC

  • [Doc] Upgrade license. (#9967)

  • [Doc] Update README. (#9970)

  • [Doc] Fix Doc deadlink in readme (#9972)

  • [Doc] Update the Document picture to new UI (#9953)

  • [Doc] Add example and notice about task type Conditions (#9945)

  • [Doc] Fix Docker link. (#9998)

  • [Doc] Add the description about execute type in SQL task (#9987)

  • [Doc] Add example and notice about task type Dependent (#10001)

  • [Doc] Correct kubernetes (#9985)

  • [Doc] Correct Doc of development-environment-setup (#9995)

  • [Bug][Document] Fix task group management Document link error (#10062)

  • [Fix-10083][Doc]Change Docker cmd && Change WebexTeams Chinese Translation (#10084)

  • [improvement-#11630]fix document about common.properties (#11653)

  • update PyDolphinScheduler documentation link. (#11474)

  • [doc] Correct E2E Doc, fix WorkerGroupPage typo (#11629)

  • Fix homepage email subscription link (#11622)

  • [DOC] should notice that need setting the full path when call the resource file #11620 (#11621)

  • [Doc][Bug] Fix resource center docs for standalone mode (#11600)

  • feat: update slack (#11578)

  • [Improvement-11550] [Doc]Document content update (#11577)

  • [Doc][Security] Update instructions on worker groups (#11483)

  • [Doc][DSIP] Move DSIP docs to the right place (#11442) (#11443)

  • [Doc][Resources] Instruct users to use local storage if they have remote storage mounted to local (#11435)

  • feat: Modifying Slack Links (#11416)

  • [python] Add multiple version of document (#11391)

  • [doc] Refine the deployment documentation (#11361)

  • [Fix-11217] [Doc] add postgresql config in doc: datasource-setting (#11326)

  • [doc] Improve the document introduction of complement (#11275)

  • [DOC] improve zk digest doc (#11703) (#11992)

  • [Doc] Remove re-upload file function in the 3.0.0″s doc (#11804) (#11984)

  • [doc] Add how obtain IP address from network card in FAQ (#11311) (#11982)

  • fix doc about sub-process”s child node describe (#11972)

  • [fix][doc] Update the registry related configuration in values.yaml (#11444) (#11980)

致谢 Acknowledgement

感谢所有 3.0.1 版本的贡献者(按首字母排序),是你们的不懈努力让社区不断进步

106umao、Amy0104、ChrisYuan、DarkAssassinator、EricJoy2048、EricGao888、HeZean、JinyLeeChina、MonsterChenzhuo、SbloodyS、WangJPLeo、abzymeinsjtu、devosend、fengjian1129、fuchanghai、guodongym、hiSandog、huage1994、insist777、jackfanwan、jieguangzhou、labbomb、limaiwang、liqingwang、lishiyucn、luoyedeyi、rickchengx、ruanwenjun、shangeyao、sketchmind、songjianet、stalary、wendongdi、yutianaiqingtian、zhangshuocn、zhongjiajie、zhuangchong、zhuxt2015

dolphinscheduler源码分析_apache parquet

最后非常欢迎大家加入 DolphinScheduler 大家庭,融入开源世界!

我们鼓励任何形式的参与社区,最终成为 Committer 或 PMC,如:

  • 将遇到的问题通过 GitHub 上 issue 的形式反馈出来。

  • 回答别人遇到的 issue 问题。

  • 帮助完善文档。

  • 帮助项目增加测试用例。

  • 为代码添加注释。

  • 提交修复 Bug 或者 Feature 的 PR。

  • 发表应用案例实践、调度流程分析或者与调度相关的技术文章。

  • 帮助推广 DolphinScheduler,参与技术大会或者 meetup 的分享等。

欢迎加入贡献的队伍,加入开源从提交第一个 PR 开始。

  • 比如添加代码注释或找到带有 ”easy to fix” 标记或一些非常简单的 issue(拼写错误等) 等等,先通过第一个简单的 PR 熟悉提交流程。

注:贡献不仅仅限于 PR 哈,对促进项目发展的都是贡献。

相信参与 DolphinScheduler,一定会让您从开源中受益!

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A”volunteer+wanted”

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

原文地址:https://www.cnblogs.com/DolphinScheduler/archive/2022/10/10/16775152.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/4683.html

(0)
上一篇 2023-06-09
下一篇 2023-06-09

相关推荐

  • 数据库 数仓_数仓是什么

    数据库 数仓_数仓是什么摘要:通常在运维监控出现CPU使用率较高、P80/P95指标较高、慢SQL数量上升等现象,或者业务出现超时报错时,优先应排查是否出现慢SQL。 本文分享自华为云社区《GaussDB慢SQL常见定位处理

    2023-06-12
    100
  • 以Python输入为中心的原始标题

    以Python输入为中心的原始标题Python作为一门高级编程语言,在很多方面都具有很多优势,其中包括Python输入。Python输入就是指在程序运行时,程序能够从用户输入中获取所需要的数据。Python输入可以通过多种方式实现,其中包括直接通过input函数获取用户输入和读取文本文件中存储的数据等。

    2024-04-21
    21
  • sql数据分析实战_牛客网SQL单向选择题

    sql数据分析实战_牛客网SQL单向选择题牛客网数据库SQL实战剖析(1-10)

    2023-02-14
    100
  • MySQL第七天[亲测有效]

    MySQL第七天[亲测有效]2022-09-09 1、左连接查询(left join) 查询条件的一种,以左表为主根据条件查询右表数据,如果根据条件查询右表数据不存在null值填充。 以“students表(id,name,ag

    2023-06-04
    105
  • 关于hive分区,你知道多少呢?[通俗易懂]

    关于hive分区,你知道多少呢?[通俗易懂]​ 文末查看关键字,回复赠书 一、理论基础 1.Hive分区背景 在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入

    2023-05-30
    100
  • 缓存和数据库一致性问题有哪些_redis缓存数据一致性例子

    缓存和数据库一致性问题有哪些_redis缓存数据一致性例子1、想要提高应用的性能,可以引入「缓存」来解决
    2、引入缓存后,需要考虑缓存和数据库一致性问题,可选的方案有:「更新数据库 + 更新缓存」、「更新数据库 + 删除缓存」
    3、更新数据库 + 更新缓存方

    2023-05-06
    93
  • 解密Python编码: 解析编码方式并转换成可读的字符序列

    解密Python编码: 解析编码方式并转换成可读的字符序列在计算机中,所有信息都是二进制形式存在的,包括文字、数字、图像、音频等等,我们通常通过编码方式将二进制转化成可读的形式。在Python中,字符串类型就是经过编码处理的文本,常用的编码方式有ASCII、UTF-8、GBK等。

    2023-12-28
    67
  • 40Mn18Cr4晶粒细小均匀

    40Mn18Cr4晶粒细小均匀电机用40Mn18Cr4无磁钢护环在强烈冲击力下高速运转, 须承受巨大的离心力。 因此需进行冷变形强化等一系列特殊加工处理,使材料除具有高强度和尽可能高的塑性外, 还应具有尽可能高是均匀性和最小的残…

    2023-03-20
    106

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注