第1章 Scala光速入门

1.1 Scala基础与语法入门实战

1.1.1 Scala基本数据类型

1.1.2 Scala变量声明

1.1.3 算术操作符介绍

1.1.4 条件语句

1.1.5 循环

1.1.6 异常控制

1.2 Scala中Arra y、Map等数据结构实战

1.2.1 定长数组和可变数组

1.2.2 数组常用算法

1.2.3 Map映射

1.2.4 Tuple元组

1.2.5 List列表

1.2.6 Set集合

1.2.7 Scala集合方法大全

1.2.8 综合案例及Spark源码解析

1.3 小结

第2章 Scala面向对象彻底精通及Spark源码阅读

2.1 Scala面向对象详解

2.1.1 Scala中的class、object初介绍

2.1.2 主构造器与辅助构造器

2.1.3 类的字段和方法彻底精通

2.1.4 抽象类、接口的实战详解

2.1.5 Scala Option类详解

2.1.6 object的提取器

2.1.7 Scala的样例类实战详解

2.2 Scala综合案例及Spark源码解析

2.3 小结

第3章 Scala函数式编程彻底精通及Spark源码阅读

3.1 函数式编程概述

3.2 函数定义

3.3 函数式对象

3.4 本地函数

3.5 头等函数

3.6 函数字面量和占位符

3.6.1 Scala占位符

3.6.2 函数字面量

3.6.3 部分应用函数

3.7 闭包和Curring

3.8 高阶函数

3.9 从Spark源码角度解析Scala函数式编程

3.10 小结

第4章 Scala模式匹配、类型系统彻底精通与Spark源码阅读

4.1 模式匹配语法

4.2 模式匹配实战

4.2.1 模式匹配基础实战

4.2.2 数组、元祖实战

4.2.3 Option实战

4.2.4 提取器

4.2.5 Scala异常处理与模式匹配

4.2.6 sealed密封类

4.3 类型系统

4.3.1 泛型

4.3.2 边界

4.3.3 协变与逆变

4.4 Spark源码阅读

4.5 小结

第5章 Scala隐式转换等彻底精通及Spark源码阅读

5.1 隐式转换

5.1.1 隐式转换的使用条件

5.1.2 隐式转换实例

5.2 隐式类

5.3 隐式参数详解

5.4 隐式值

5.5 Spark源码阅读解析

5.6 小结

第6章 并发编程及Spark源码阅读

6.1 并发编程彻底详解

6.1.1 actor工作模型

6.1.2 发送消息

6.1.3 回复消息

6.1.4 actor创建

6.1.5 用上下文context创建actor

6.1.6 用ActorSystem创建actor

6.1.7 用匿名类创建actor

6.1.8 actor生命周期

6.1.9 终止actor

6.1.10 actor实战

6.2 小结

第7章 源码编译

7.1 Windows下源码编译

7.1.1 下载Spark源码

7.1.2 Sbt方式

7.1.3 Maven方式

7.1.4 需要注意的几个问题

7.2 Ubuntu下源码编译

7.2.1 下载Spark源码

7.2.2 Sbt方式

7.2.3 Maven方式

7.2.4 make-distribution.sh脚本方式

7.2.5 需要注意的几个问题

7.3 小结

第8章 Hadoop分布式集群环境搭建

8.1 搭建Hadoop单机环境

8.1.1 安装软件下载

8.1.2 Ubuntu系统的安装

8.1.3 Hadoop集群的安装和设置

8.1.4 Hadoop单机模式下运行WordCount示例

8.2 Hadoop伪分布式环境

8.2.1 Hadoop伪分布式环境搭建

8.2.2 Hadoop伪分布式模式下运行WordCount示例

8.3 Hadoop完全分布式环境

8.3.1 Hadoop完全分布式环境搭建

8.3.2 Hadoop完全分布式模式下运行WordCount示例

8.4 小结

第9章 精通Spark集群搭建与测试

9.1 Spark集群所需软件的安装

9.1.1 安装JDK

9.1.2 安装Scala

9.2 Spark环境搭建

9.2.1 Spark单机与单机伪分布式环境

9.2.2 Spark Standalone集群环境搭建与配置

9.2.3 Spark Standalone环境搭建的验证

9.3 Spark集群的测试

9.3.1 通过spark-shell脚本进行测试

9.3.2 通过spark-submit脚本进行测试

9.4 小结

第10章 Scala IDE开发Spark程序实战解析

10.1 Scala IDE安装

10.1.1 Ubuntu系统下安装

10.1.2 Windows系统下安装

10.2 ScalaIDE开发重点步骤详解

10.3 Wordcount创建实战

10.4 Spark源码导入Scala IDE

10.5 小结

第11章 实战详解IntelliJ IDEA下的Spark程序开发

11.1 IDEA安装

11.1.1 Ubuntu系统下安装

11.1.2 Windows系统下安装

11.2 IDEA开发重点步骤详解

11.2.1 环境配置

11.2.2 项目创建

11.2.3 Spark包引入

11.3 Wordcount创建实战

11.4 IDEA导入Spark源码

11.5 小结

第12章 Spark简介

12.1 Spark发展历史

12.2 Spark在国内外的使用

12.3 Spark生态系统简介

12.3.1 Hadoop生态系统

12.3.2 BDAS生态系统

12.3.3 其他

12.4 小结

第13章 Spark RDD解密

13.1 浅谈RDD

13.2 创建RDD的几种常用方式

13.3 Spark RDD API解析及其实战

13.4 RDD的持久化解析及其实战

13.5 小结

第14章 Spark程序之分组TopN开发实战解析

14.1 分组TopN动手实战

14.1.1 Java之分组TopN开发实战

14.1.2 Scala之分组TopN开发实战

14.2 Scala之分组TopN运行原理解密

14.2.1 textFile

14.2.2 map

14.2.3 groupByKey

14.3 小结

第15章 Master HA工作原理解密

15.1 Spark需要Master HA的原因

15.2 Spark Master HA的实现

15.3 Spark和ZOOKEEPER的协同工作机制

15.4 ZOOKEEPER实现应用实战

15.5 小结

第16章 Spark内核架构解密

16.1 Spark的运行过程

16.1.1 SparkContext的创建过程

16.1.2 Driver的注册过程

16.1.3 Worker中任务的执行

16.1.4 任务的调度过程

16.1.5 Job执行结果的产生

16.2 小结

第17章 Spark运行原理实战解析

17.1 用户提交程序Driver端解析

17.1.1 SparkConf解析

17.1.2 SparkContext解析

17.1.3 DAGScheduler创建

17.1.4 TaskScheduler创建

17.1.5 SchedulerBackend创建

17.1.6 Stage划分与TaskSet生成

17.1.7 任务提交

17.2 Spark运行架构解析

17.2.1 Spark基本组件介绍

17.2.2 Spark的运行逻辑

17.3 Spark在不同集群上的运行架构

17.3.1 Spark在Standalone模式下的运行架构

17.3.2 Spark on yarn的运行架构

17.3.3 Spark在不同模式下的应用实战

17.4 Spark运行架构的实战解析

17.5 小结