1 背景和概念

定义Apache Hadoop

Apache Hadoop的发展简史

大数据的定义

Hadoop作为数据湖

使用Hadoop：管理员、用户或两种身份兼具

原始的MapReduce

Apache Hadoop的设计原则

Apache Hadoop MapReduce示例

MapReduce的优势

Apache Hadoop V 1 MapReduce操作

使用Hadoop V2超越MapReduce

Hadoop V2 YARN操作设计

Apache Hadoop项目生态系统

总结和补充资料

2 安装攻略

核心Hadoop服务

Hadoop配置文件

规划你的资源

硬件的选择

软件的选择

在台式机或笔记本电脑上安装

安装Hortonworks HDP 2.2沙箱

用Apache源代码安装Hadoop

配置单节点YARN服务器的步骤

运行简单的MapReduce示例

安装Apache Pig（可选）

安装Apache Hive（可选）

使用Ambari安装Hadoop

执行Ambari安装

撤消Ambari安装

使用Apache Whirr在云中安装Hadoop

总结和补充资料

3 HDFS基础知识

HDFS设计的特点

HDFS组件

HDFS块复制

HDFS安全模式

机架的识别

NameNode高可用性

HDFS NameNode联邦

HDFS检查点和备份

HDFS快照

HDFS NFS网关

HDFS用户命令

简要HDFS命令参考

一般HDFS命令

列出HDFS中的文件

在HDFS中创建一个目录

将文件复制到HDFS

从HDFS复制文件

在HDFS中复制文件

删除在HDFS中的文件

删除在HDFS中的目录

获取HDFS状态报告

HDFS的Web图形用户界面

在程序中使用HDFS

HDFS Java应用程序示例

HDFS C应用程序示例

总结和补充资料

4 运行示例程序和基准测试程序

运行MapReduce示例

列出可用的示例

运行Pi示例

使用Web界面监控示例

运行基本Hadoop基准测试程序

运行Terasort测试

运行TestDFSIO基准

管理Hadoop MapReduce作业

总结和补充资料

5 Hadoop MapReduce框架

MapReduce模型

MapReduce并行数据流

容错和推测执行

推测执行

Hadoop MapReduce硬件

总结和补充资料

6 MapReduce编程

编译和运行Hadoop WordCount的示例

使用流式接口

使用管道接口

编译和运行Hadoop Grep链示例

调试MapReduce

作业的列举、清除和状态查询

Hadoop日志管理

启用YARN日志聚合

Web界面日志查看

命令行日志查看

总结和补充资料

7 基本的Hadoop工具

使用Apache Pig

Pig示例演练

使用Apache Hive

Hive示例演练

更高级的Hive示例

使用Apache Sqoop获取关系型数据

Apache Sqoop导入和导出方法

Apache Sqoop版本更改

Sqoop示例演练

使用Apache Flume获取数据流

Flume的示例演练

使用Apache Oozie管理Hadoop工作流

Oozie示例演练

使用Apache HBase

HBase数据模型概述

HBase示例演练

总结和补充资料

8 Hadoop YARN应用程序

YARN分布式shell

使用YARN分布式shell

一个简单的示例

使用更多的容器

带有shell参数的分布式shell示例

YARN应用程序的结构

YARN应用程序框架

Hadoop MapReduce

Apache Tez

Apache Giraph

Hoya： HBase on YARN

Dryad on YARN

Apache Spark

Apache Storm

Apache REEF：可持续计算执行框架

Hamster： Hadoop和MPI在同一集群

Apache Flink：可扩展的批处理和流式数据处理

Apache Slider：动态应用程序管理

总结和补充资料

9 用Apache Ambari管理Hadoop

快速浏览Apache Ambari

仪表板视图

服务视图

主机视图

管理视图

查看视图

Admin下拉菜单

更改Hadoop属性

总结和补充资料

10 基本的Hadoop管理程序

基本的Hadoop YARN管理

停用YARN节点

YARN WebProxy

使用JobHistoryServer

管理YARN作业

设置容器内存

设置容器核心

设置MapReduce属性

基本的HDFS管理

NameNode用户界面

将用户添加到HDFS

在HDFS上执行FSCK

平衡HDFS

HDFS安全模式

停用HDFS节点

SecondaryNameNode

HDFS快照

配置到HDFS的NFSv3网关

容量调度程序背景知识

Hadoop 2的MapReduce兼容性

启用应用主控程序的重新启动功能

计算一个节点的承载容量

运行Hadoop 1的应用程序

总结和补充资料

附录A 本书的网页和代码下载

附录B 入门流程图和故障排除指南

入门流程图

常见的Hadoop故障排除指南

规则1：不要惊慌

规则2：安装并使用Ambari

规则3：检查日志

规则4：简化情况

规则5：在互联网上提问

其他有用的提示

附录C 按主题列出的Apache Hadoop资源汇总

常规的Hadoop信息

Hadoop安装攻略

HDFS

示例

MapReduce

MapReduce编程

基本工具

YARN应用程序框架

Ambari管理

基本的Hadoop管理

附录D 安装HueHadoop GUI

Hue安装

安装和配置Hue

启动Hue

Hue用户界面

附录E 安装Apache Spark

在集群上安装Spark

在整个集群中启动Spark

在伪分布式的单节点安装版本中安装和启动Spark

运行Spark示例