大家好，我是考100分的小小码 ，祝大家学习进步，加薪顺利呀。今天说一说Yarn架构「建议收藏」,希望您对编程的造诣更进一步.
Yarn架构（Master-Slave）
进程角色：
-
resourceManager（Master）：任务调度和集群资源管理。
-
nodeManager（Slave）：单个节点的资源管理。
-
applicationMaster：为任务程序申请资源，任务程序运行状态监控、错误恢复。
-
container：对运行环境资源的抽象，是资源分配和使用的单元，包括cpu、内存、环境变量等资源。
-
client：发起任务的请求。
任务提交流程 ：
用户将作业提交到client，client将任务提交给resourceManager，resourceManager选取一个nodeManager来启动一个applicationMaster，这个applicationMaster根据当前作业反过来向resourceManager申请计算资源，resourceManager将可用资源以一个个container的形式返给applicationMaster，applicationMaster根据各container的位置等属性，将计算任务发送到相应nodeManager，由nodeManager分配container并执行，每个container向applicationMaster同步任务执行状态，整个作业所涉及的每个container中的任务都全部执行完毕后，applicationMaster将结果写入目的地，同时applicationMaster将作业完毕的消息反馈给resourceManager，resourceManager将本次作业申请的container资源全部回收，供后续作业申请。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
转载请注明出处: https://daima100.com/9899.html
