Hadoop2.x 学习笔记

Uber模式是hadoop2.x为MR小作业的一个优化机制。如果MapReduce作业足够小，所有的任务在一个JVM中完成。默认情况下为false.

MRv1与MRv2 yarn平台把传统的jobtracker干的事情分成了两个部分，分开来做。传统的jobtracker既要管理资源分配，又要监听每一个任务的执行情况。这样对于Jobtracker节点来说压力非常大。yarn平台将资源管理与任务执行分开管理。有ResourceManager负责总的资源管理，相当与NameNode，NodeManager负责节点的资源管理。每当client提交任务时，ResourceManager就会为这个任务创建一个Application Master来监控任务的执行情况,向ResourceManager汇总。App Mst 向ResourceManager申请资源，RM根据情况在NodeManager分配container给App Mst这个任务使用。