本文详细解析Yarn作为通用资源管理系统的核心架构，涵盖ResourceManager、NodeManager及ApplicationMaster三大组件的功能分工。重点阐述Container资源隔离机制，并完整梳理客户端提交作业至Yarn集群的14步标准流程，帮助理解MapReduce、Spark等框架在Yarn上的运行原理。
一、介绍
Yarn是一种通用的资源管理系统和调度平台。
作为资源管理系统，它负责管理集群内的硬件资源，包括内存、CPU等与程序运行相关的资源。
作为调度平台，当多个程序同时申请计算资源时，它提供分配和调度的规则（算法）。
其通用性体现在不仅支持MapReduce程序，理论上还支持Spark、Flink等各种计算程序。Yarn不关心程序的计算内容，只关注程序所需的资源，在程序申请资源时根据调度算法分配资源，计算结束后回收计算资源。使用Yarn作为资源调度平台的计算框架自身需要提供ApplicationMaster来负责计算任务的调度。
二、yarn 框架
Yarn采用主从式设计，主节点为ResourceManager，从节点为NodeManager。
架构图：
ApplicationMaster也是Yarn中不可缺失的一部分，但是其由具体的计算框架来提供，相当于Yarn只提供了一个需要实现的接口。
三、ResourceManager
ResourceManager作为全局资源管理器，由两部分组成，分别为Scheduler和ApplicationsManager。
3.1，ApplicationsManager
主要负责接收Client端传输的Job请求，为应用（如MapReduce程序）分配第一个Container（资源池）来运行我们的ApplicationMaster；
负责监控ApplicationMaster，并且在遇到失败的时候重启ApplicationMaster。
3.2，Scheduler
调度器负责将资源分配给各种正在运行的应用程序，这些应用程序受到容量、队列等常见的限制。
调度器是纯粹的调度器，它不监视或跟踪应用程序的状态。
此外，它也不能保证重启失败的应用程序（由ApplicationManager负责）。
调度器根据应用程序的资源需求执行其调度功能；它是基于Container的抽象概念来实现资源调度的，Scheduler通过给任务分配Container的方式来分配资源。
调度器是可插拔的，常用的调度器有CapacityScheduler和FairScheduler。
四、NodeManager
NodeManager节点资源管理器，是每台机器的框架客户端/代理，负责Container容器管理，监控他们的资源使用，并汇报给ResourceManager/Scheduler。
Container：
NodeManager将节点中的资源切分出来组成一个个可以单独运行任务（Map，Reduce）的Container容器，用来运行任务。容器中资源目前只支持内存、CPU。
一个Container类似于开辟了一个虚拟机，一个NodeManager中可以分配一个或者多个Container。
Container底层使用了轻量级资源隔离机制Cgroups进行资源隔离（Docker底层好像也是使用了Cgroups）。
Container是Yarn集群分配资源的基本单位。
五、ApplicationMaster
ApplicationMaster运行在NodeManager的Container中，并且是应用程序申请到的第一个Container。
它负责一个应用程序中具体任务的执行，比如MapReduce应用的Map任务，Reduce任务，每一个应用都有一个ApplicationMaster，它受ApplicationsManager管理，ApplicationMaster进程如果非正常死亡，ApplicationsManager可以重启它。
主要功能：
1，与ResourceManager中的Scheduler 协商获取执行资源。
2，与NodeManager通讯以启动，停止任务
3，监控所属的任务的执行。
六、客户端提交任务到Yarn中运行的流程。
步骤说明：
1，客户端向ResourceManager中的ApplicationManager提交作业申请，申请JobID。
2，ApplicationManager 返回一个JobID，以及运行的HDFS临时路径（hdfs://… JobID）。
3，客户端将作业的Jar包，配置信息等上传到分配的HDFS临时路径（hdfs://… JobID）中。
4，客户端上传文件成功后，向ApplicationManager发送执行作业请求。
5，ApplicationManager将请求转发给Scheduler，申请执行所需资源。
6，调度器将作业放置到相关队列中，当执行到该作业时，开始让ApplicationManager分配Containers。
7，ApplicationManager命令NodeManager使用分配的Container资源启动ApplicationMaster。
8，ApplicationMaster启动后去分配的HDFS临时路径（hdfs://… JobID）中读取作业的具体信息，根据分片信息创建Map任务，Reduce任务。
9，ApplicationMaster向Scheduler请求资源来执行Map任务，Reduce任务。
10，Scheduler返回申请结果。
11，AppMaster通知NodeManager，启动Map，Reduce任务。
12，NodeManager启动Map，Reduce任务。
13，Map，Reduce任务读取数据，进行逻辑计算。计算过程中如果有Map，Reduce任务执行失败了，AppMaster负责重启任务。
14，程序执行成功后，AppMaster向Scheduler发送请求，释放资源。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持本站。