flink工作原理_逻辑概念

flink工作原理_逻辑概念逻辑计划 1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。 2. operator往往代表一个函数。 3. 同一个分区内的具有连续上下游关系的函数组成op

Flink中逻辑计划和物理计划的概念划分和对应关系

逻辑计划

  1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。
  2. operator往往代表一个函数。
  3. 同一个分区内的具有连续上下游关系的函数组成operator-chain,一个operator-chain内的数据来流动过程中不会出现序列化和分区间的网络通信。

    物理计划

  4. physicalGraph是逻辑执行计划为并行执行而翻译的结果,其端点为task,edge为数据流向及数据分区。
  5. 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例,是最小的调度单元。
  6. 一个sub-task是处理分区数据的task在分布式环境下的一个分身。
  7. 一个slot一时间只能执行一个sub-task(业务上一个slot一时间只能处理一条消息)。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/9908.html

(0)
上一篇 2023-01-29 17:30
下一篇 2023-01-29

相关推荐

  • SQL注入–盲注及报错注入

    SQL注入–盲注及报错注入盲注查询 盲注其实就是没有回显,不能直观地得到结果来调整注入数据,只能通过其他方式来得到是否注入成功,主要是利用了一些数据库内置函数来达到的 布尔盲注 布尔很明显Ture跟Fales,也就是说它只会…

    2023-02-10
    144
  • oracle报错大全_网页错误码大全

    oracle报错大全_网页错误码大全ORA-00001: 违反唯一约束条件 (.) ORA-00017: 请求会话以设置跟踪事件 ORA-00018: 超出最大会话数 ORA-00019: 超出最大会话许可数 ORA-00020: 超出

    2023-02-08
    135
  • 第3篇:分布式数据库存储

    第3篇:分布式数据库存储一、分布式数据库存储 在前面的章节;GreenPlum数据库是分布式架构数据库;表的数据分布在segment节点。那么表的数据根据什么策略来分布的? GreenPlum数据库性能依赖于跨数据节点均匀分

    2022-12-24
    160
  • Python列表倒序实现

    Python列表倒序实现a href=”https://www.python100.com/a/sm.html”font color=”red”免责声明/font/a a href=”https://beian.miit.gov.cn/”苏ICP备2023018380号-1/a Copyright www.python100.com .Some Rights Reserved.

    2024-06-04
    60
  • 天天在用Redis,持久化方案你又知道哪些?[通俗易懂]

    天天在用Redis,持久化方案你又知道哪些?[通俗易懂]前言 文章首发于微信公众号【码猿技术专栏】:天天用Redis,持久化方案有哪些你知道吗? Redis目前已经成为主流的内存数据库了,但是大部分人仅仅是停留在会用的阶段,你真的了解Redis内部的工作原

    2023-02-19
    150
  • 使用Python保存图片

    使用Python保存图片Python是一门功能强大的编程语言,它具有各种库和模块,可以用于多种用途。其中一个流行的库是Pillow,它是Python中的图像处理库,可用于操作图像。它提供了各种方法来操作图像,例如调整大小、旋转、裁剪和保存图像等。在本文中,我们将探讨如何使用Python保存图像。

    2024-08-09
    28
  • mysql 调优「建议收藏」

    mysql 调优「建议收藏」1、查看当前数据库进程 show processlist; 2、 查看数据库的最大连接数 show variables like '%max_connections%'; 3、 …

    2022-12-22
    155
  • springboot2集成cas 单点登录_java properties

    springboot2集成cas 单点登录_java propertiesCouchbase 虽然是MongoDB最有潜力的竞争对手,但是其在数据库方面的开源程度还远远不够,很多高级特性都没有开放出来。目前虽然被SpringBoot加持有了一些光环,但是其文档和代码注释方…

    2023-03-24
    162

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注