第1章 ApacheHadoopYARN：简明历史及基本原理

1.1 引言

1.2 Apache Hadoop

1.3 阶段0：Ad Hoc集群时期

1.4 阶段1：Hadoop onDemand

1.4.1 HOD世界中的HDFS

1.4.2 HOD的特色及优势

1.4.3 HOD的缺点

1.5 阶段2：共享计算集群的黎明

1.5.1 共享集群的演进

1.5.2 使用共享MapReduce集群的问题

1.6 阶段3：YARN的出现

1.7 小结

第2章 Apache Hadoop YARN安装快速入门

2.1 准备开始

2.2 配置单节点YARN集群的步骤

2.2.1 第1步：下载ApacheHadoop

2.2.2 第2步：设置JAVA_HOME

2.2.3 第3步：创建用户和用户组

2.2.4 第4步：创建数据和日志目录

2.2.5 第5步：配置core-site.xml

2.2.6 第6步：配置hdfs-site.xml

2.2.7 第7步：配置mapred-site.xml

2.2.8 第8步：配置yarn-site.xml

2.2.9 第9步：调整Java堆大小

2.2.10 第10步：格式化HDFS

2.2.11 第11步：启动HDFS服务

2.2.12 第12步：启动YARN服务

2.2.13 第13步：通过Web接口验证正在运行的服务

2.3 运行MapReduce示例程序

2.4 小结

第3章 Apache Hadoop YARN的核心概念

3.1 不只是MapReduce

3.2 Apache Hadoop MapReduce

3.2.1 支持非MapReduce应用的需求

3.2.2 解决可扩展性

3.2.3 提高资源使用率

3.2.4 用户敏捷性

3.3 Apache Hadoop YARN

3.4 YARN组件

3.4.1 ResourceManager

3.4.2 ApplicationMaster

3.4.3 资源模型

3.4.4 ResourceRequest和Container

3.4.5 Container规范

3.5 小结

第4章 YARN组件的功能概述

4.1 体系架构概述

4.2 ResourceManager

4.3 YARN调度组件

4.3.1 FIFO调度器

4.3.2 Capacity调度器

4.3.3 Fair调度器

4.4 Container

4.5 NodeManager

4.6 ApplicationMaster

4.7 YARN资源模型

4.7.1 客户端资源请求

4.7.2 ApplicationMaster Container的分配

4.7.3 ApplicationMaster与Container管理器的通信

4.8 管理应用程序的依赖文件

4.8.1 LocalResource的定义

4.8.2 LocalResource时间戳

4.8.3 LocalResource类型

4.8.4 LocalResource的可见性

4.8.5 LocalResource的生命周期

4.9 小结

第5章 安装Apache Hadoop YARN

5.1 基础知识

5.2 系统准备

5.2.1 第1步：安装EPEL和pdsh

5.2.2 第2步：生成和分发ssh密钥

5.3 基于脚本安装Hadoop 2

5.3.1 JDK选项

5.3.2 第1步：下载并解压脚本

5.3.3 第2步：设置脚本里的变量

5.3.4 第3步：提供节点名字

5.3.5 第4步：运行脚本

5.3.6 第5步：验证安装

5.4 基于脚本的卸载

5.5 配置文件处理

5.6 配置文件设置

5.6.1 core-site.xml

5.6.2 hdfs-site.xml

5.6.3 mapred-site.xml

5.6.4 yarn-site.xml

5.7 启动脚本

5.8 用Apache Ambari安装Hadoop

5.8.1 基于Ambari安装Hadoop

5.8.2 第1步：检查要求

5.8.3 第2步：安装Ambari服务器

5.8.4 第3步：安装和启动Ambari代理

5.8.5 第4步：启动Ambari服务器

5.8.6 第5步：安装HDP2.X集群

5.9 小结

第6章 Apache Hadoop YARN的管理

6.1 基于脚本的配置

6.2 监控集群健康：Nagios

6.2.1 监控基本的Hadoop服务

6.2.2 监控JVM

6.3 实时监控系统：Ganglia

6.4 使用Ambari管理

6.5 JVM分析

6.6 基本的YARN管理

6.6.1 YARN的管理工具

6.6.2 增加或关闭YARN节点

6.6.3 Capacity调度器的配置

6.6.4 YARN的Web代理

6.6.5 使用JobHistoryServer

6.6.6 更新用户到用户组的映射

6.6.7 更新超级用户代理群组映射

6.6.8 更新ResourceManager管理的ACL

6.6.9 重新加载服务级授权策略文件

6.6.10 管理YARN作业

6.6.11 设置Container的内存

6.6.12 设置Container核数

6.6.13 设置MapReduce配置项

6.6.14 用户日志管理

6.7 小结

第7章 ApacheHadoopYARN的架构指南

7.1 概述

7.2 ResourceManager

7.2.1 ResourceManager组件概述

7.2.2 客户端和ResourceManager交互

7.2.3 应用程序和ResourceManager的通信

7.2.4 节点和ResourceManager的通信

7.2.5 ResourceManager核心组件

7.2.6 ResourceManager安全相关的组件

7.3 NodeManager

7.3.1 NodeManager各组件概述

7.3.2 NodeManager组件

7.3.3 NodeManager安全组件

7.3.4 NodeManager的重要功能

7.4 ApplicationMaster

7.4.1 概述

7.4.2 活跃

7.4.3 资源需求

7.4.4 调度

7.4.5 调度协议和本地性

7.4.6 启动Container

7.4.7 完成的Container

7.4.8 ApplicationMaster失败和恢复

7.4.9 协调和输出提交

7.4.10 为客户端提供信息

7.4.11 安全

7.4.12 ApplicationMaster退出时进行清理

7.5 YARN Container

7.5.1 Container运行环境

7.5.2 与ApplicationMaster通信

7.6 应用程序开发者的摘要

7.7 小结

第8章 YARN中的Capacity调度器

8.1 Capacity调度器介绍

8.1.1 多租户弹性

8.1.2 安全

8.1.3 资源感知

8.1.4 细粒度调度

8.1.5 本地化

8.1.6 调度策略

8.2 Capacity调度器配置

8.3 队列

8.4 层级队列

8.4.1 关键特性

8.4.2 队列间的调度

8.4.3 定义层级队列

8.5 队列访问控制

8.6 层级队列Capacity管理

8.7 用户级别限制

8.8 预订

8.9 队列的状态

8.10 应用程序的限制

8.11 用户接口

8.12 小结

第9章 Apache HadoopYARN下的MapReduce

9.1 运行Hadoop YARN MapReduce实例

9.1.1 可利用的实例列表

9.1.2 运行Pi实例

9.1.3 使用WebGUI监控实例

9.1.4 运行terasort测试

9.1.5 运行TestDFSIO基准测试

9.2 MapReduce兼容性

9.3 MapReduce ApplicationMaster

9.3.1 启用ApplicationMaster的重启

9.3.2 启用已完成任务的恢复

9.3.3 JobHistory服务

9.4 计算一个节点的容量

9.5 Shuffle服务的变动

9.6 运行已有的第1版Hadoop的应用程序

9.6.1 org.apache.hadoop.mapred API的二进制兼容性

9.6.2 org.apache.hadoop.mapreduce API的源码兼容性

9.6.3 命令行脚本的兼容性

9.6.4 MRv1和早期MRv2（0.2 3.x）应用程序兼容性的权衡

9.7 运行第1版MapReduce现有的代码

9.7.1 在YARN上运行Apache Pig脚本

9.7.2 在YARN上运行Apache Hive查询

9.7.3 在YARN上运行Apache Oozie工作流

9.8 高级特性

9.8.1 Uber作业

9.8.2 可插拔的Shuffle和Sort

9.9 小结

第10章 Apache Hadoop YARN应用程序范例

10.1 YARN客户端

10.2 ApplicationMaster

10.3 小结

第11章 使用Apache Hadoop YARN Distributed-Shell

11.1 使用YARN Distributed-Shell

11.1.1 简单例子

11.1.2 使用更多Container

11.1.3 带有shell命令参数的Distributed-Shell

11.2 Distributed-Shell内部实现

11.2.1 应用的常量定义

11.2.2 Client

11.2.3 ApplicationMaster

11.2.4 普通Container

11.3 小结

第12章 Apache Hadoop YARN框架

12.1 Distributed-Shell

12.2 Hadoop MapReduce

12.3 Apache Tez

12.4 Apache Giraph

12.5 Hoya：HBase onYARN

12.6 Dryad on YARN

12.7 Apache Spark

12.8 Apache Storm

12.9 REEF：Retainable Evaluator Execution Framework

12.10 Hamster：Hadoop and MPI on the Same Cluster

12.11 小结

附录A 补充内容和代码下载

附录B YARN的安装脚本

附录C YARN的管理脚本

附录D Nagios模块

附录E 资源及附加资料

附录F HDFS快速参考