yarn 资源调度器

yarn 资源调度器

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台

1. yarn的基础架构

2. yarn的工作机制

MR程序提交到客户端所在的节点 YarnRunner向ResourceManager申请一个Application RM将该应用程序的资源路径返回给YarnRunner 该程序将运行所需资源提交到HDFS上 程序资源提交完毕后，申请运行mrAppMaster RM将用户的请求初始化成一个Task 其中一个NodeManager领取到Task任务 该NodeManager创建容器Container，并产生mrAppmaster Container从HDFS上拷贝资源到本地 Appmaster向RM 申请运行MapTask资源 RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器 MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序 MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask ReduceTask向MapTask获取相应分区的数据 程序运行完毕后，MR会向RM申请注销自己

3. yarn的调度器和调度算法

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。

3.1 先进先出调度器（FIFO）

3.2 容量调度器（Capacity Scheduler）

3.3 公平调度器（Fair Scheduler）

4. yarn常用命令

4.1 yarn application查看任务

列出所有Application：

[root@hadoop102 hadoop-3.1.3]$ yarn application -list

根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）

[root@hadoop102 hadoop-3.1.3]$ yarn application -list -appStates FINISHED

Kill掉Application

[root@hadoop102 hadoop-3.1.3]$ yarn application -kill application_1612577921195_0001

4.2 yarn logs查看日志

查询Application日志：yarn logs -applicationId

[root@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001

查询Container日志：yarn logs -applicationId -containerId

[root@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001 -containerId container_1612577921195_0001_01_000001

4.3 yarn applicationattempt查看尝试运行的任务

列出所有Application尝试的列表：yarn applicationattempt -list

[root@hadoop102 hadoop-3.1.3]$ yarn applicationattempt -list application_1612577921195_0001

打印ApplicationAttemp状态：yarn applicationattempt -status

[root@hadoop102 hadoop-3.1.3]$ yarn applicationattempt -status appattempt_1612577921195_0001_000001

4.4 yarn container查看容器

列出所有Container：yarn container -list

[root@hadoop102 hadoop-3.1.3]$yarn container -list appattempt_1612577921195_0001_000001

打印Container状态： yarn container -status

[root@hadoop102 hadoop-3.1.3]$yarn container -status container_1612577921195_0001_01_000001

4.5 yarn node 查看节点状态

列出所有节点：yarn node -list -all

[root@hadoop102 hadoop-3.1.3]$yarn node -list -all

4.6 yarn rmadmin更新配置

加载队列配置：yarn rmadmin -refreshQueues

[root@hadoop102 hadoop-3.1.3]$yarn rmadmin -refreshQueues

4.7 yarn queue查看队列

打印队列信息：yarn queue -status

[root@hadoop102 hadoop-3.1.3]$yarn queue -status default

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。