第1章 大数据技术概述

1.1 大数据技术的主要内容

1.1.1 大数据技术框架

1.1.2 知识表示

1.1.3 知识发现模型

1.1.4 大数据分析基本技术

1.2 大数据技术的特征

1.2.1 分析全面的数据，而非随机抽样

1.2.2 重视数据的复杂性，弱化精确性

1.2.3 关注数据的相关性，而非因果关系

1.2.4 学习算法复杂度

1.3 大数据对计算机科学的冲击与挑战

1.3.1 机器学习

1.3.2 软件工程

1.3.3 算法设计

1.3.4 预测分析

1.3.5 推荐技术

1.3.6 存储技术

1.3.7 数据安全

1.3.8 可视化

1.3.9 数据库技术

1.3.10 数据挖掘

1.3.11 数据分析技术

1.3.12 计算机体系结构

1.4 大数据研究方法论

1.4.1 科学研究范式

1.4.2 数据密集型科学研究范式

1.5 常用的大数据计算框架

小结

第2章 大数据获取与存储

2.1 数据获取的定义与数据领域

2.1.1 数据获取定义

2.1.2 数据获取领域

2.2 NewSQL和NoSQL

2.2.1 典型的数据库架构

2.2.2 BigTatle数据库

2.2.3 MongoDB数据库

2.3 分布式文件系统

2.3.1 分布式文件系统的评价指标

2.3.2 Hadoop文件系统

2.3.3 NFS文件系统

2.4 虚拟存储技术

2.4.1 虚拟存储特点

2.4.2 虚拟存储的应用

2.5 云存储

2.5.1 云存储原理

2.5.2 网络结构

2.5.3 云的分类

2.6 分布式存储核心算法

2.6.1 哈希算法

2.6.2 一致性哈希算法

2.7 数据仓库与数据集市

2.7.1 数据仓库的特点

2.7.2 数据仓库的建立方法

2.7.3 数据集市

2.7.4 元数据

2.8 区块链技术

2.8.1 区块链技术原理

2.8.2 区块链技术特性

2.8.3 区块链分类

小结

第3章 大数据抽取技术

3.1 数据抽取技术概述

3.1.1 数据抽取的定义

3.1.2 数据映射与数据迁移

3.1.3 数据抽取程序

3.1.4 ETL

3.1.5 数据抽取方式

3.2 增量数据抽取技术

3.2.1 增量抽取的特点与策略

3.2.2 基于触发器的增量抽取方式

3.2.3 基于时间戳的增量抽取方式

3.2.4 全表删除插入方式

3.2.5 全表比对抽取方式

3.2.6 日志表方式

3.2.7 系统日志分析方式

3.2.8 基于CDC与物化视图的数据抽取

3.2.9 各种数据抽取机制的比较

3.3 非结构化数据抽取

3.3.1 非结构化数据类型

3.3.2 非结构化数据模型

3.3.3 非结构化数据组织

3.3.4 纯文本抽取通用程序库

3.4 Web数据抽取

3.4.1 Web数据抽取问题的提出

3.4.2 Web数据抽取的目的与分类

3.4.3 Web数据抽取方法

3.4.4 Web数据抽取过程

小结

第4章 大数据清洗技术

4.1 数据质量与数据清洗

4.1.1 数据质量

4.1.2 数据质量提高技术

4.1.3 数据清洗算法的衡量标准

4.1.4 数据清洗的过程与模型

4.1.5 数据清洗技术面临的问题

4.2 不完整数据的清洗方法

4.2.1 方法简介

4.2.2 基于k-NN近邻缺失数据的填充算法

4.2.3 基于决策树的缺失数据的填充算法

4.3 异常数据清洗

4.3.1 异常值产生的原因与检测方法分类

4.3.2 统计方法

4.3.3 基于邻近度的离群点检测

4.3.4 基于密度的离群点检测

4.3.5 基于聚类的异常数据检测技术

4.4 重复数据清洗

4.4.1 使用字段相似度识别重复值算法

4.4.2 数组中重复数据清除算法

4.4.3 搜索引擎快速去重算法

4.5 文本清洗

4.5.1 字符串匹配算法

4.5.2 文本相似度度量

4.5.3 文档去重算法

4.6 数据清洗的实现

4.6.1 数据清洗的步骤

4.6.2 数据清洗的工具

小结

第5章 大数据转换与约简

5.1 数据平滑

5.1.1 移动平均法

5.1.2 指数平滑法

5.1.3 分箱平滑法

5.1.4 普拉斯平滑法

5.2 数据规范化

5.2.1 最小-最大规范化方法

5.2.2 z分数规范化方法

5.2.3 小数定标规范化方法

5.3 数据泛化

5.3.1 空间数据支配泛化算法

5.3.2 非空间数据支配泛化算法

5.3.3 统计信息网格方法

5.4 数据约简

5.4.1 数据约简定义与策略

5.4.2 数据立方体聚集

5.4.3 维约简

5.5 数据压缩

5.6 数值约简

5.6.1 有参数值约简

5.6.2 无参数值约简

5.7 数值数据离散化与概念分层

5.7.1 基于数值属性的概念分层

5.7.2 数值数据的离散化

小结

第6章 大数据集成

6.1 数据集成技术概述

6.1.1 数据集成的概念与相关问题

6.1.2 数据集成的核心问题

6.1.3 数据集成的分类

6.2 数据迁移

6.2.1 内部数据移动

6.2.2 非结构化数据集成

6.2.3 将处理移动到数据端

6.3 数据集成模式

6.3.1 联邦数据库集成模式

6.3.2 中间件集成模式

6.3.3 数据仓库集成模式

6.4 数据集成系统

6.4.1 全局模式

6.4.2 语义映射

6.4.3 查询重写

6.5 数据集成系统的构建

6.5.1 模式之间映射关系的生成

6.5.2 适应性查询

6.5.3 XML

6.5.4 P2P数据管理

6.6 数据聚类集成

6.6.1 数据聚类集成概述

6.6.2 高维数据聚类集成

6.7 实时数据集成

6.7.1 基于中间件层的实时数据集成模式

6.7.2 基于数据源层和中间件层的实时数据集成模式

6.7.3 基于数据仓库和中间件层的集成模式

6.7.4 基于数据网格的实时数据集成模式

6.8 企业信息集成

6.8.1 数据集成对于企业信息系统的作用

6.8.2 企业信息集成的类型

6.8.3 企业信息集成的功能

6.8.4 信息集成的方法

小结

第7章 大数据分析

7.1 大数据分析定义与方法

7.1.1 大数据分析的类型

7.1.2 统计方法论

7.1.3 模型与构建

7.2 统计分析的基本方法

7.2.1 指标对比分析

7.2.2 分组分析

7.2.3 综合评价分析

7.2.4 指数分析

7.2.5 平衡分析

7.2.6 趋势分析

7.2.7 显著性检验

7.2.8 结构分析

7.2.9 因素分析

7.2.10 交叉分析

7.2.11 漏斗图分析

7.3 高级数据分析方法

7.3.1 动态分析

7.3.2 相关分析

7.3.3 回归分析

7.3.4 判别分析

7.3.5 对应分析

7.3.6 主成分分析

7.3.7 多维尺度分析

7.3.8 方差分析

7.4 预测分析

7.4.1 预测的基本原理

7.4.2 预测方法

7.4.3 主要的预测模型

7.4.4 大数据预测分析要素

7.4.5 大数据预测的步骤

7.5 大数据预测分析的应用趋势

7.5.1 大数据预测分析的演化

7.5.2 大数据预测分析相关问题

7.5.3 预测技术的应用

小结

第8章 数据挖掘

8.1 数据挖掘理论基础

8.1.1 数据挖掘是面向实际应用的技术

8.1.2 数据挖掘的理论基础

8.1.3 基于不同数据存储方式的数据挖掘

8.2 关联规则挖掘

8.2.1 频繁项目集生成算法

8.2.2 关联规则挖掘质量

8.3 分类

8.3.1 分类定义与分类步骤

8.3.2 基于距离的分类算法

8.3.3 决策树分类方法

8.3.4 贝叶斯分类

8.4 聚类方法

8.4.1 聚类算法分类

8.4.2 距离与相似性的度量

8.4.3 划分聚类方法

8.4.4 层次聚类方法

8.4.5 密度聚类方法

8.5 序列模式挖掘

8.5.1 时间序列预测的常用方法

8.5.2 序列模式挖掘

8.6 Web挖掘技术

8.6.1 Web内容挖掘方法

8.6.2 Web访问信息挖掘方法

8.6.3 Web结构挖掘方法

8.7 空间数据挖掘

8.7.1 空间统计学

8.7.2 空间聚类算法

8.8 非结构化文本数据挖掘

8.8.1 用户反馈文本

8.8.2 用户反馈文本挖掘的一般过程

8.8.3 文本的自然语言处理

小结

第9章 大数据分析结果解释

9.1 数据分析结果的解释

9.1.1 数据解释的目的与主要内容

9.1.2 检查和验证假设

9.1.3 追踪分析过程

9.2 数据的基本展现方式

9.2.1 基于时间变化的可视化展现

9.2.2 由大及小的可视化展现

9.2.3 由小及大的可视化展现

9.2.4 突出对比的可视化展现

9.2.5 地域空间可视化展现

9.2.6 概念可视化展现

9.2.7 气泡图可视化展现

9.2.8 注重交叉点的数据可视化展现

9.2.9 剖析原因的数据可视化展现

9.2.10 描绘出异常值

9.3 大数据可视化

9.3.1 文本可视化

9.3.2 网络（图）可视化

9.3.3 时空数据可视化

9.3.4 多维数据可视化

9.4 大数据可视分析

9.4.1 可视分析的理论基础

9.4.2 大数据可视分析技术

小结

第10章 大数据离线计算技术

10.1 数据离线计算概述

10.1.1 大数据离线处理特点

10.1.2 批量计算

10.2 MapReduce的体系结构

10.2.1 MapReduce计算描述

10.2.2 MapReduce适用情况

10.3 Hadoop分布式计算平台

10.3.1 Hadoop的结构与特点

10.3.2 分布式系统与Hadoop

10.3.3 SQL数据库与Hadoop

10.3.4 基于Hadoop框架的分布计算

10.3.5 单数计数程序分析

小结

第11章 大数据流式计算技术

11.1 流式数据的概念与特征

11.1.1 流式数据的概念

11.1.2 流式数据源

11.1.3 流式数据的特征

11.1.4 实时流计算的场景

11.2 大数据的流式计算模式

11.2.1 大数据流式计算模型

11.2.2 大数据流式计算与批量计算的比较

11.2.3 流式计算与实时计算的区别

11.3 数据流处理

11.3.1 流式数据处理器

11.3.2 流式计算的问题

11.4 流式计算的场景

11.4.1 基本流式计算

11.4.2 流式查询

11.4.3 流式抽样

11.4.4 统计独立元素数

11.4.5 去重计数

11.4.6 流过滤

11.4.7 矩估计

11.4.8 基于窗口计数

11.5 流式计算的系统架构

11.5.1 对称式系统架构

11.5.2 主从式系统架构

11.5.3 数据传输方式

11.5.4 编程接口

11.6 高可用技术

11.6.1 被动等待策略

11.6.2 主动等待策略

11.6.3 上游备份策略

11.7 Storm流式数据处理平台

11.7.1 Storm的特点与架构

11.7.2 Topology

11.7.3 Spout和Bolt

11.7.4 数据流组

11.7.5 Storm流式数据处理平台的并发机制

11.8 单词计数Topology

11.8.1 单词计数Topology的数据流

11.8.2 单词计数Topology程序设计

小结

第12章 大数据交互式处理技术

12.1 交互式处理系统的问题

12.2 数据切分

12.2.1 数据切分的概念

12.2.2 数据切分的目的

12.3 数据钻取

12.3.1 向上钻取

12.3.2 向下钻取

12.3.3 钻取到模板

12.3.4 在图形上钻取

12.4 Scala编程语言简介

12.4.1 Scala语言特性

12.4.2 Scala程序执行方式与基本语法

12.5 交互式大数据处理框架Spark

12.5.1 Spark的主要特点

12.5.2 软件栈

12.5.3 核心概念

12.5.4 RDD

12.5.5 实例分析与编程

12.6 交互式查询

12.6.1 交互式查询的主要方法

12.6.2 Spark交互式查询

小结

参考文献