0“疯狂”的大数据

0.1 大数据时代

0.2 数据就是“金库”

0.3 让大数据“活”起来

第1篇 Hadoop军营

1Hadoop一石激起千层浪

1.1 Hadoop诞生——不仅仅是玩具

1.2 Hadoop发展——各路英雄集结

1.3 Hadoop和它的小伙伴们

1.4 Hadoop应用场景

1.5 小结

2 MapReduce奠定基石

2.1 MapReduce设计思想

2.2 MapReduce运行机制

2.2.1 MapReduce的组成

2.2.2 MapReduce作业运行流程

2.2.3 JobTracker解剖

2.2.4 TaskTracker解剖

2.2.5 失败场景分析

2.3 MapReduce实例分析

2.3.1 运行WordCount程序

2.3.2 WordCount源码分析

2.4 小结

3分布式文件系统

3.1 群雄并起的DFS

3.2 HDFS文件系统

3.2.1 HDFS设计与架构

3.2.2 HDFS操作与API

3.2.3 HDFS的优点及适用场景

3.2.4 HDFS的缺点及改进策略

3.3 小结

4 Hadoop体系的“四剑客”

4.1 数据仓库工具Hive

4.1.1 Hive缘起何处

4.1.2 Hive和数据库的区别

4.1.3 Hive设计思想与架构

4.1.4 适用场景

4.2 大数据仓库HBase

4.2.1 HBase因何而生

4.2.2 HBase的设计思想和架构

4.2.3 HBase优化技巧

4.2.4 HBase和Hive的区别

4.3 Pig编程语言

4.3.1 Pig的缘由

4.3.2 Pig的基本架构

4.3.3 Pig与Hive的对比

4.3.4 Pig的执行模式

4.3.5 Pig Latin语言及其应用

4.4 协管员ZooKeeper

4.4.1 ZooKeeper是什么

4.4.2 ZooKeeper的作用

4.4.3 ZooKeeper的架构

4.4.4 ZooKeeper的数据模型

4.4.5 ZooKeeper的常用接口及操作

4.4.6 ZooKeeper的应用场景分析

4.5 小结

5 Hadoop资源管理与调度

5.1 Hadoop调度机制

5.1.1 FIFO

5.1.2 计算能力调度器

5.1.3 公平调度器

5.2 Hadoop YARN资源调度

5.2.1 YARN产生的背景

5.2.2 Hadoop YARN的架构

5.2.3 YARN的运作流程

5.3 Apache Mesos资源调度

5.3.1 Apache Mesos的起因

5.3.2 Apache Mesos的架构

5.3.3 基于Mesos的Hadoop

5.4 Mesos与YARN对比

5.5 小结

6 Hadoop集群管理之道

6.1 Hadoop集群管理与维护

6.1.1 Hadoop集群管理

6.1.2 Hadoop集群维护

6.2 Hadoop集群调优

6.2.1 Linux文件系统调优

6.2.2 Hadoop通用参数调整

6.2.3 HDFS相关配置

6.2.4 MapReduce相关配置

6.2.5 Map任务相关配置

6.2.6 HBase搭建重要的HDFS参数

6.3 Hadoop集群监控

6.3.1 Apache Ambari监控

6.3.2 Ganglia监控Hadoop

6.4 小结

第2篇 Spark星火燎原

7 Spark宝刀出鞘

7.1 Spark的历史渊源

7.1.1 Spark的诞生

7.1.2 Spark的发展

7.2 Spark和Hadoop MapReduce对比

7.3 Spark的适用场景

7.4 Spark的硬件配置

7.5 Spark架构

7.5.1 Spark生态架构

7.5.2 Spark运行架构

7.6 小结

8 Spark核心RDD

8.1 RDD简介

8.1.1 什么是RDD

8.1.2 为什么需要RDD

8.1.3 RDD本体的设计

8.1.4 RDD与分布式共享内存

8.2 RDD的存储级别

8.3 RDD依赖与容错

8.3.1 RDD依赖关系

8.3.2 RDD容错机制

8.4 RDD操作与接口

8.4.1 RDD Transformation操作与接口

8.4.2 RDD Action操作与接口

8.5 RDD编程示例

8.6 小结

9 Spark运行模式和流程

9.1 Spark运行模式

9.1.1 Spark的运行模式列表

9.1.2 Local模式

9.1.3 Standalone模式

9.1.4 Spark on Mesos模式

9.1.5 Spark on YARN模式

9.1.6 Spark on EGO模式

9.2 Spark作业流程

9.2.1 YARN-Client模式的作业流程

9.2.2 YARN-Cluster模式的作业流程

9.3 小结

10Shark和Spark SQL

10.1 从Shark到Spark SQL

10.1.1 Shark的撤退是进攻

10.1.2 Spark SQL接力

10.1.3 Spark SQL与普通SQL的区别

10.2 Spark SQL应用架构

10.3 Spark SQL之DataFrame

10.3.1 什么是DataFrame

10.3.2 DataFrame的创建

10.3.3 DataFrame的使用

10.4 Spark SQL运行过程分析

10.5 小结

11Spark Streaming流数据处理新贵

11.1 Spark Streaming是什么

11.2 Spark Streaming的架构

11.3 Spark Streaming的操作

11.3.1 Spark Streaming的Transformation操作

11.3.2 Spark Streaming的Window操作

11.3.3 Spark Streaming的Output操作

11.4 Spark Streaming性能调优

11.5 小结

12 Spark GraphX图计算系统

12.1 图计算系统

12.1.1 图存储模式

12.1.2 图计算模式

12.2 Spark GraphX的框架

12.3 Spark GraphX的存储模式

12.4 Spark GraphX的图运算符

12.5 小结

13 Spark Cluster管理

13.1 Spark Cluster部署

13.2 Spark Cluster管理与监控

13.2.1 内存优化机制

13.2.2 Spark日志系统

13.3 Spark高可用性

13.4 小结

第3篇 其他大数据处理技术

14专为流数据而生的Storm

14.1 Storm起因

14.2 Storm的架构与组件

14.3 Storm的设计思想

14.4 Storm与Spark的区别

14.5 Storm的适用场景

14.6 Storm的应用

14.7 小结

15 Dremel和Drill

15.1 Dremel和Drill的历史背景

15.2 Dremel的原理与应用

15.3 Drill的架构与流程

15.4 Dremel和Drill的适用场景与应用

15.5 小结

第4篇 大数据下的日志分析系统

16日志分析解决方案

16.1 百花齐放的日志处理技术

16.2 日志处理方案ELK

16.2.1 ELK的三大金刚

16.2.2 ELK的架构

16.2.3 ELK的组网形式

16.3 Logstash日志收集解析

16.3.1 Input Plugins及应用示例

16.3.2 Filter Plugins及应用示例

16.3.3 Output Plugins及应用示例

16.4 ElasticSearch存储与搜索

16.4.1 ElasticSearch的主要概念

16.4.2 ElasticSearch Rest API

16.5 Kibana展示

16.6 小结

17 ELK集群部署与应用

17.1 ELK集群部署与优化

17.1.1 ELK HA集群部署

17.1.2 ElasticSearch优化

17.2 如何开发自己的插件

17.3 ELK在大数据运维系统中的应用

17.4 ELK实战应用

17.4.1 ELK监控Spark集群

17.4.2 ELK监控系统资源状态

17.4.3 ELK辅助日志管理和故障排查

17.5 小结

第5篇 数据分析技术前景展望

18大数据处理的思考与展望

18.1 大数据时代的思考

18.2 大数据处理技术的发展趋势

18.3 小结