Hadoop教程
HBase
Hive
Pig
Sqoop
Spark

什么是YARN

然而,另一个资源管理器将编程提升到Java以外的更高水平,并使之具有交互性,以允许另一个应用程序Hbase,Spark等对其进行处理。纱线应用程序可以共存于同一群集上,因此MapReduce,Hbase,Spark都可以同时运行,从而为可管理性和群集利用率带来了巨大的好处。

YARN的组件

客户端: 用于提交MapReduce作业。 资源管理器: 管理整个群集中的资源使用情况 节点管理器: : 用于启动和监视集群中计算机上的计算机容器。 Map Reduce Application Master: 检查运行MapReduce作业的任务。应用程序主数据库和MapReduce任务在由资源管理器安排并由节点管理器管理的容器中运行。
Jobtracker和Tasktracker用于早期版本的Hadoop,它们负责处理资源和检查进度管理。但是,Hadoop 2.0具有资源管理器和NodeManager来克服Jobtracker和Tasktracker的不足。

YARN的优点

可扩展性: Map Reduce 1命中了4000个节点和40000个任务的可扩展性瓶颈,但是Yarn设计用于10,000个节点和10万个任务。 用途: 节点管理器管理资源池,而不是管理固定数量的指定插槽,从而提高了利用率。 多租户: 不同版本的MapReduce可以在YARN上运行,这使得升级MapReduce的过程更易于管理。
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4