flink工作原理_逻辑概念

flink工作原理_逻辑概念逻辑计划 1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。 2. operator往往代表一个函数。 3. 同一个分区内的具有连续上下游关系的函数组成op

Flink中逻辑计划和物理计划的概念划分和对应关系

逻辑计划

  1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。
  2. operator往往代表一个函数。
  3. 同一个分区内的具有连续上下游关系的函数组成operator-chain,一个operator-chain内的数据来流动过程中不会出现序列化和分区间的网络通信。

    物理计划

  4. physicalGraph是逻辑执行计划为并行执行而翻译的结果,其端点为task,edge为数据流向及数据分区。
  5. 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例,是最小的调度单元。
  6. 一个sub-task是处理分区数据的task在分布式环境下的一个分身。
  7. 一个slot一时间只能执行一个sub-task(业务上一个slot一时间只能处理一条消息)。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/9908.html

(0)
上一篇 2023-01-29 17:30
下一篇 2023-01-29

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注