第一篇 理论篇

第1章 大数据治理技术

1.1 概述

1.1.1 大数据治理的基本概念

1.1.2 大数据治理的意义和重要作用

1.2 框架

1.2.1 大数据治理框架概述

1.2.2 大数据治理的原则

1.2.3 大数据治理的范围

1.2.4 大数据治理的实施与评估

第2章 大数据安全、隐私保护和审计技术

2.1 大数据安全

2.1.1 大数据安全的意义和重要作用

2.1.2 大数据安全面临的问题与挑战

2.1.3 大数据安全防护技术

2.2 大数据隐私保护

2.2.1 大数据隐私保护的意义和重要作用

2.2.2 大数据隐私保护面临的问题与挑战

2.2.3 大数据隐私保护技术

2.3 大数据治理审计

2.3.1 大数据治理审计概述

2.3.2 大数据治理审计内容

2.3.3 大数据治理审计方法和技术

2.3.4 大数据治理审计流程

第二篇 开源实现篇

第3章 大数据治理之Apache Falcon

3.1 Apache Falcon概述

3.1.1 Apache Falcon技术概况

3.1.2 Apache Falcon发展近况

3.1.3 Apache Falcon技术优势

3.1.4 Apache Falcon架构

3.2 Apache Falcon的使用

3.2.1 Oozie的安装与配置

3.2.2 Falcon的安装与配置

3.2.3 实体XML的创建与声明

3.3 Apache Falcon场景设计与实现

3.3.1 数据管道

3.3.2 结构化数据导入分布式文件系统

3.3.3 结构化数据库与数据仓库的交互

3.3.4 跨集群数据传输

3.3.5 数据镜像

3.3.6 数据仓库中的数据操作

3.4 Apache Falcon优化与性能分析

3.4.1 Apache Falcon控制流

3.4.2 分布式部署

3.4.3 安全模式

3.4.4 Apache Falcon优化

3.5 Apache Falcon应用举例

3.5.1 InMobi基于Falcon的数据治理

3.5.2 Expedia基于Falcon的数据治理

3.6 本章小结

第4章 大数据治理之Apache Atlas

4.1 Apache Atlas概述

4.1.1 Apache Atlas技术概况

4.1.2 Apache Atlas发展近况

4.1.3 Apache Atlas技术优势

4.1.4 Apache Atlas架构

4.2 Apache Atlas的配置与使用

4.2.1 安装配置Apache Atlas

4.2.2 添加或修改Atlas Web UI的登录账户

4.2.3 配置Hive通过Hive HOOK导入数据

4.2.4 配置Sqoop通过Sqoop HOOK导入数据

4.2.5 配置Storm通过Storm HOOK导入数据

4.2.6 配置Falcon通过Falcon HOOK导入数据

4.3 Apache Atlas的场景设计

4.3.1 Atlas总场景介绍

4.3.2 Atlas非实时数据场景

4.3.3 Atlas实时数据场景

4.3.4 Hive数据表操作

4.4 Apache Atlas优化与性能分析

4.5 本章小结

第5章 大数据安全之Apache Ranger

5.1 Apache Ranger概述

5.1.1 Ranger技术概况

5.1.2 Ranger发展史及近况

5.1.3 Ranger的特点和作用

5.1.4 Ranger架构

5.1.5 Ranger应用场景

5.2 Apache Ranger的安全认证配置

5.2.1 Ranger安装与部署

5.2.2 安全及访问权限控制机制

5.2.3 Ranger集成HDFS的安全认证机制与配置

5.2.4 Ranger集成YARN的安全认证机制与配置

5.2.5 Ranger集成Hive的安全认证机制与配置

5.2.6 Ranger集成HBase的安全认证机制与配置

5.2.7 Ranger集成Kafka的安全认证机制与配置

5.2.8 Ranger集成Atlas的安全认证机制与配置

5.2.9 Ranger集成Storm的安全认证机制与配置

5.2.10 Ranger集成Solr的安全认证机制与配置

5.3 Apache Ranger的功能配置

5.3.1 Tag同步验证

5.3.2 各类Policy验证

5.4 Apache Ranger优化与性能分析

5.5 本章小结

第6章 大数据安全之Apache Sentry

6.1 Apache Sentry概述

6.1.1 Apache Sentry技术概况

6.1.2 Apache Sentry发展近况

6.1.3 Apache Sentry技术优势

6.1.4 Apache Sentry架构

6.2 Apache Sentry的安装与配置

6.2.1 先决条件

6.2.2 Impala的安装与调试

6.2.3 Apache Sentry的安装和配置

6.2.4 Apache Sentry与Impala的集成

6.3 Apache Sentry场景设计之Sentry对Impala的控制

6.3.1 场景数据准备

6.3.2 基于文件存储元数据的场景验证

6.3.3 基于数据库存储元数据的场景验证

6.4 Apache Sentry场景设计之Sentry对Hive的控制

6.4.1 Hive与Sentry的集成配置

6.4.2 准备实验数据

6.4.3 基于文件存储方式的数据表操作

6.4.4 基于数据库存储方式的数据表操作

6.5 本章小结

第7章 大数据安全之Kerberos认证

7.1 Kerberos概述

7.1.1 Kerberos技术概况

7.1.2 Kerberos发展史及近况

7.1.3 Kerberos架构

7.1.4 Kerberos的认证流程

7.1.5 Kerberos的风险与缺陷

7.1.6 Kerberos应用举例

7.2 Kerberos使用操作说明

7.2.1 名词解释

7.2.2 KDC常用操作

7.2.3 Client常用操作

7.3 Kerberos集成环境配置

7.3.1 Kerberos服务配置

7.3.2 HDFS集成Kerberos的安装与调试

7.3.3 YARN集成Kerberos的安装与调试

7.3.4 Hive集成Kerberos的配置与调试

7.3.5 Zookeeper集成Kerberos的配置与调试

7.3.6 HBase集成Kerberos的配置与调试

7.3.7 Sqoop集成Kerberos的配置与调试

7.3.8 Hue集成Kerberos的安装与调试

7.3.9 Spark集成Kerberos的安装与调试

7.3.10 Solr集成Kerberos的安装与调试

7.3.11 Kafka集成Kerberos的配置与调试

7.3.12 Storm集成Kerberos的安装与调试

7.3.13 Impala集成Kerberos的安装与调试

7.4 Kerberos配置优化及常见问题

7.4.1 Kerberos的认证方式

7.4.2 时间同步

7.4.3 ticket周期

7.4.4 KVNO导致的认证失败

7.5 本章小结