第1章 大数据概述

1.1 从数据库到大数据库

1.1.1 关系型数据库

1.1.2 大数据库

1.2 大数据库的类型

1.3 大数据库的应用

习题1

参考文献

第2章 Hadoop基础

2.1 Hadoop简介

2.2 Hadoop部署

2.2.1 单节点部署

2.2.2 伪分布式部署

2.2.3 集群部署

2.3 Hadoop常用命令

2.3.1 用户命令

2.3.2 管理命令

2.3.3 启动/关闭命令

2.4 HDFS常用命令

2.4.1 用户命令

2.4.2 管理命令

实验1 Hadoop实验

习题2

参考文献

第3章 Hadoop数据库HBase

3.1 HBase简介

3.1.1 体系架构

3.1.2 数据模型

3.1.3 主要特性

3.2 HBase部署

3.2.1 准备工作

3.2.2 单节点部署

3.2.3 伪分布式部署

3.2.4 集群部署

3.2.5 版本升级

3.3 HBase配置

3.3.1 配置文件

3.3.2 主要配置项

3.3.3 配置建议

3.3.4 客户端配置

3.4 HBase Shell

3.4.1 交互模式

3.4.2 非交互模式

3.5 HBase模式设计

3.5.1 设计准则

3.5.2 列族属性

3.5.3 表属性

3.5.4 设计实例

3.6 HBase安全

3.6.1 安全访问配置

3.6.2 数据访问权限控制

实验2 HBase集群搭建

习题3

参考文献

第4章 数据仓库工具Hive

4.1 Hive简介

4.1.1 工作原理

4.1.2 体系架构

4.1.3 数据模型

4.2 Hive部署

4.2.1 Hive部署模式

4.2.2 Hive内嵌模式部署

4.2.3 Hive本地和远程模式部署

4.3 Hive配置

4.4 Hive接口

4.4.1 Hive Shell接口

4.4.2 Hive Web接口

4.5 Hive SQL

4.5.1 数据类型

4.5.2 DDL语句

4.5.3 DML语句

4.6 Hive操作实例

实验3 Hive实验

习题4

参考文献

第5章 内存大数据计算框架Spark

5.1 Spark简介

5.1.1 Spark概览

5.1.2 Spark生态系统BDAS

5.1.3 Spark架构与原理

5.2 Spark部署

5.2.1 准备工作

5.2.2 Spark单节点部署

5.2.3 Spark集群部署

5.3 Spark配置

5.3.1 Spark属性

5.3.2 环境变量配置

5.3.3 日志配置

5.3.4 查看配置

5.4 Spark RDD

5.4.1 RDD特征

5.4.2 RDD转换操作

5.4.3 RDD依赖

5.4.4 RDD行动操作

5.5 Spark Shell

5.5.1 准备工作

5.5.2 启动Spark Shell

5.5.3 创建RDD

5.5.4 转换RDD

5.5.5 执行RDD作业

实验4 Spark Standalone集群搭建

习题5

参考文献

第6章 Spark SQL

6.1 Spark SQL简介

6.1.1 Spark SQL概览

6.1.2 Spark SQL特性

6.1.3 Spark SQL架构与原理

6.1.4 和Hive的兼容性

6.1.5 数据类型

6.2 分布式SQL引擎

6.2.1 Spark SQL配置

6.2.2 Spark SQL CLI

6.2.3 Thrift JDBC/ODBC Server的搭建与测试

6.3 使用DataFrame API处理结构化数据

实验5 Thrift JDBC/ODBC Server的搭建与测试

习题6

参考文献

附录A 大数据和人工智能实验环境

附录B Hadoop环境要求

附录C 名词解释