第1章 大数据概述

1.1大数据的发展

1.2大数据的概念及特征

1.2.1大数据的概念

1.2.2大数据的特征

1.3大数据的产生及数据类型

1.3.1大数据的产生

1.3.2数据类型

1.4大数据计算模式和系统

1.5大数据的主要技术层面和技术内容

1.6大数据的典型应用

1.7本章小结

第2章 数据获取

2.1 Scrapy环境搭建

2.2爬虫项目创建

2.3采集目标数据项定义

2.4爬虫核心实现

2.5数据存储

2.6爬虫运行

2.7本章小结

第3章Hadoop基础

3.1 Hadoop概述

3.2 Hadoop原理

3.2.1 Hadoop HDFS原理

3.2.2 Hadoop MapReduce原理

3.2.3 Hadoop YARN原理

3.3 Hadoop的安装与配置

3.4 Hadoop生态系统简介

3.5本章小结

第4章HDFS基本应用

4.1实战命令行接口

4.2实战Java接口

4.3数据流

4.3.1数据流简介

4.3.2数据流读取

4.3.3数据流写入

4.4本章小结

第5章MapReduce应用开发

5.1配置Hadoop MapReduce开发环境

5.1.1系统环境及所需文件

5.1.2安装Eclipse

5.1.3向Eclipse中添加插件

5.2编写和运行第一个MapReduce程序前的准备

5.2.1系统环境及所需要的文件

5.2.2建立运行MapReduce程序的依赖环境

5.2.3建立编写MapReduce程序的依赖包

5.3 MapReduce应用案例

5.3.1单词计数

5.3.2数据去重

5.3.3排序

5.3.4单表关联

5.3.5多表关联

5.4本章小结

第6章 分布式数据库HBase

6.1 HBase简介

6.2 HBase接口

6.3安装HBase集群

6.3.1系统环境

6.3.2安装ZooKeeper

6.3.3安装HBase

6.4 HBase Shell

6.5 HBase API

6.6 HBase综合实例

6.7本章小结

第7章 数据仓库工具Hive

7.1 Hive简介

7.2 Hive接口实战

7.3 Hive复杂语句实战

7.4 Hive综合实例

7.4.1准备数据

7.4.2在Hive上创建数据库和表

7.4.3导入数据

7.4.4算法分析与执行HQL语句

7.4.5运行结果分析

7.5本章小结

第8章 开源集群计算环境Spark

8.1 Spark简介

8.2 Spark接口实战

8.2.1环境要求

8.2.2 IDEA使用和打包

8.3 Spark编程的RDD

8.3.1 RDD

8.3.2创建RDD

8.3.3 RDD中与Map和Reduce相关的API

8.4 Spark实战案例——统计1000万人口的平均年龄

8.4.1案例描述

8.4.2案例分析

8.4.3编程实现

8.4.4提交到集群运行

8.4.5监控执行状态

8.5 Spark MLlib实战——聚类实战

8.5.1算法说明

8.5.2实例介绍

8.5.3测试数据说明

8.5.4程序源码

8.5.5运行脚本

8.6本章小结

第9章 流实时处理系统Storm

9.1 Storm概述

9.1.1 Storm简介

9.1.2 Storm主要特点

9.2 Storm安装与配置

9.3本章小结

第10章 企业级、大数据流处理Apex

10.1 Apache Apex简介

10.2 Apache Apex开发环境配置

10.2.1部署开发工具

10.2.2安装Apex组件

10.2.3创建Top N Words应用

10.3运行TopN Words应用

10.3.1开启Apex客户端

10.3.2执行

10.4本章小结

第11章 事件流OLAP之Druid

11.1 Druid简介

11.2 Druid应用场所

11.3 Druid集群

11.4 Druid单机环境

11.4.1安装Druid

11.4.2安装ZooKeeper

11.4.3启动Druid服务

11.4.4批量加载数据

11.4.5加载流数据

11.4.6数据查询

11.5本章小结

第12章 事件数据流引擎Flink

12.1 Flink概述

12.2 Flink基本架构

12.3单机安装Flink

12.4 Flink运行第一个例子

12.5 Flirik集群部署

12.5.1环境准备

12.5.2安装和配置

12.5.3启动Flink集群

12.5.4集群中添加JobManager/TaskManager

12.6本章小结

第13章 分布式文件搜索Elasticsearch

13.1 Elasticsearch简介

13.2 Elasticsearch单节点安装

13.3插件Elasticsearch-head安装

13.4 Elasticsearch的基本操作

13.5综合实战

13.6本章小结

第14章 实例电商数据分析

14.1背景与挖掘目标

14.2分析方法与过程

14.2.1数据收集

14.2.2数据预处理

14.2.3导入数据到 Hadoop

14.2.4数据取样分析

14.3本章小结

参考文献