第1章 走进大数据时代

1.1 应对大数据

1.1.1 电子数据迅速增加

1.1.2 数据中蕴含的价值

1.1.3 数据是国家的核心资产

1.2 大数据的生态环境

1.2.1 互联网世界

1.2.2 物理世界

1.3 大数据的概念

1.3.1 数据容量

1.3.2 数据类型

1.3.3 价值密度

1.3.4 速度

1.3.5 真实性

1.4 大数据的性质

1.4.1 非结构性

1.4.2 不完备性

1.4.3 时效性

1.4.4 安全性

1.4.5 可靠性

1.5 大数据技术概述

1.5.1 大数据处理的全过程

1.5.2 大数据技术的特征

1.5.3 大数据的关键问题与关键技术

1.6 大数据应用

1.6.1 大数据应用趋势

1.6.2 大数据应用评价与应用实例

小结

第2章 科学研究范式

2.1 科学研究第一范式

2.1.1 科学实验特点与步骤

2.1.2 科学实验构成与分类

2.1.3 科学实验程序

2.1.4 科学实验使用原则

2.2 科学研究第二范式

2.2.1 科学理论的特征与价值

2.2.2 科学理论的结构与体系建立方法

2.3 科学研究第三范式

2.3.1 系统模拟发展过程

2.3.2 系统模拟基本方法

2.3.3 系统模拟语言

2.4 科学研究第四范式

2.4.1 数据密集型计算

2.4.2 格雷法则

2.4.3 核心内容

小结

第3章 分布系统设计的CAP理论

3.1 分布式系统的伸缩性

3.1.1 可伸缩性的概念

3.1.2 影响横向扩展的主要因素

3.2 横向扩展方案

3.2.1 可伸缩共享数据库

3.2.2 对等复制的横向扩展方案

3.2.3 链接服务器和分布式查询

3.2.4 分布式分区视图

3.2.5 数据依赖型路由的横向扩展

3.3 CAP理论

3.3.1 分布系统设计的核心系统需求

3.3.2 CAP定理

3.4 BASE模型

3.4.1 三个核心需求分析

3.4.2 ACID、BASE与CAP的关系

3.4.3 CAP与延迟

3.4.4 CAP理论的进一步研究

3.5 Web分布式系统设计

3.5.1 系统核心需求

3.5.2 系统服务

3.5.3 冗余

3.5.4 分区

小结

第4章 大数据网络空间

4.1 复杂网络空间概述

4.1.1 复杂网络概念与特征

4.1.2 复杂网络的特性

4.2 社会网络

4.2.1 社会网络结构

4.2.2 社会网络理论

4.2.3 社会计算

4.2.4 社会网络应用

4.3 社会网络分析

4.3.1 社会网络分析概述

4.3.2 社会网络分析的原理

4.3.3 社会网络分析的特征

4.3.4 社会网络分析的方法

4.4 社会网络中的隐私保护

4.4.1 用户隐私类型

4.4.2 身份隐私攻击与保护

4.4.3 用户关系的攻击及保护

4.4.4 万维网用户隐私保护

4.5 社会感知计算

4.5.1 社会感知计算概念

4.5.2 社会感知计算的内容

4.6 人类通信方式

4.6.1 通信方式的演化

4.6.2 六度分隔理论

4.6.3 150法则

4.6.4 唯象理论与唯象方法

4.7 社交网站

4.7.1 社交网站作用

4.7.2 Web网站

小结

第5章 MapReduce分布编程模型

5.1 函数式编程范式

5.1.1 函数型语言与函数式编程

5.1.2 函数式编程优点

5.1.3 函数式编程的特征

5.2 映射函数与化简函数

5.2.1 映射与映射函数

5.2.2 化简与化简函数

5.3 MapReduce的体系结构

5.3.1 MapReduce计算描述

5.3.2 MapReduce适用情况

5.4 基于Hadoop平台的分布式计算

5.4.1 Hadoop发展历程

5.4.2 分布式系统与Hadoop

5.4.3 SQL数据库和Hadoop

5.4.4 基于Hadoop的分布式计算

小结

第6章 大数据流式计算

6.1 流式数据的概念与特征

6.1.1 流式数据的概念

6.1.2 流式数据的特征

6.2 大数据的计算模式

6.2.1 大数据批量计算模型

6.2.2 大数据流式计算模型

6.2.3 大数据流式计算与批量计算的比较

6.3 流式大数据处理工具

6.3.1 Storm系统

6.3.2 S4系统

6.3.3 Data Freeway and Puma系统

6.4 大数据流式计算的应用

6.4.1 金融银行业的应用

6.4.2 互联网领域的应用

6.4.3 物联网领域的应用

6.4.4 三种典型应用场景的对比

小结

第7章 大数据搜索技术

7.1 搜索引擎概述

7.1.1 搜索引擎的发展过程

7.1.2 搜索引擎的定义

7.1.3 搜索引擎的组成

7.1.4 搜索引擎的分类

7.1.5 搜索引擎的工作过程

7.1.6 搜索引擎的评价指标

7.2 语义搜索引擎

7.2.1 语义与语义搜索引擎的概念

7.2.2 图谱

7.2.3 搜索就是回答

7.2.4 语义搜索引擎的组成

7.2.5 基于本体的语义搜索引擎

7.3 网站数据对搜索引擎的影响

7.3.1 垂直网站与垂直搜索

7.3.2 私有化的Web化数据

7.3.3 没有Web化的数据

7.3.4 大数据流动

7.4 搜索引擎优化

7.4.1 搜索引擎优化的产生

7.4.2 网页级别

7.4.3 搜索引擎优化的方法

小结

第8章 大数据存储

8.1 大数据存储概述

8.1.1 大数据存储模型

8.1.2 大数据存储问题

8.1.3 存储方式

8.2 大数据的存储技术

8.2.1 数据容量问题

8.2.2 大图数据

8.2.3 分布式存储的架构

8.2.4 数据存储管理

8.3 数据云存储

8.3.1 云存储的意义与问题

8.3.2 技术措施

8.4 数据存储的可靠性

8.4.1 磁盘与磁盘阵列的可靠性

8.4.2 文件系统的可靠性

小结

第9章 NoSQL数据库

9.1 NoSQL概述

9.1.1 非结构化问题

9.1.2 NoSQL的产生

9.2 NoSQL的特点与问题

9.2.1 NoSQL的特点

9.2.2 NoSQL面对的问题

9.3 NoSQL的主要存储方式

9.3.1 键值存储方式

9.3.2 文档存储方式

9.3.3 列存储方式

9.3.4 图形存储方式

9.3.5 存储类型对应的NoSQL数据库

9.4 常用的NoSQL数据库

9.4.1 Cassandra

9.4.2 Lucene

9.4.3 Riak

9.4.4 CouchDB

9.4.5 Neo4j

9.4.6 Oracle的NoSQL

9.4.7 Hadoop的HBase

9.4.8 Bigtable

9.4.9 DynamoDB

9.4.10 MongoDB

小结

第10章 大数据预处理技术

10.1 数据抽取概述

10.1.1 数据抽取的概念与包装器

10.1.2 抽取数据的方法

10.2 Web数据抽取

10.2.1 Web数据抽取问题的提出

10.2.2 Web数据抽取的目的与方法

10.2.3 Web数据抽取过程

10.3 数据质量与数据清洗

10.3.1 数据质量

10.3.2 数据清洗的目的

10.3.3 数据清洗算法衡量标准

10.3.4 数据清洗的主要研究成果

10.3.5 数据清洗技术面临的问题

10.4 不符合要求的数据

10.4.1 不完整的数据

10.4.2 异常的数据

10.4.3 重复的数据

10.5 数据清洗技术的实现

10.5.1 数据清洗的方法与技巧

10.5.2 数据清洗的实现方式

10.5.3 数据清洗的步骤

10.5.4 数据清洗的评价标准

10.5.5 常用的数据清洗算法

10.5.6 大数据清洗工具

10.6 数据集成

10.6.1 数据集成技术概述

10.6.2 数据集成系统的构建

10.7 数据转换与约简

10.7.1 数据转换

10.7.2 数据约简

小结

第11章 大数据分析

11.1 数据分析概述

11.1.1 数据分析的概念

11.1.2 数据分析的目的与意义

11.1.3 数据分析方法的分类

11.1.4 数据分析的类型

11.1.5 数据分析步骤

11.2 基本数据分析方法

11.2.1 统计方法

11.2.2 指标对比分析法

11.2.3 分组分析法

11.2.4 综合评价分析法

11.2.5 指数分析法

11.2.6 平衡分析法

11.2.7 平滑和滤波

11.2.8 基线与峰值

11.3 高级数据分析方法

11.3.1 时间数列及动态分析法

11.3.2 相关分析

11.3.3 回归分析

11.3.4 判别分析

11.3.5 对应分析

11.3.6 预测分析

11.3.7 主成分分析

11.3.8 多维尺度分析

11.3.9 因子分析

11.3.10 方差分析

11.4 复合技术分析

11.4.1 快速傅里叶变换

11.4.2 分类

11.4.3 聚类分析

11.5 大数据分析基础

11.5.1 可视化分析

11.5.2 数据挖掘

11.5.3 预测性分析

11.5.4 语义引擎

11.5.5 数据质量和数据管理

11.5.6 大数据的离线与在线分析

11.6 大数据预测分析

11.6.1 预测学简介

11.6.2 预测原理

11.6.3 预测的步骤

11.6.4 预测技术分类

11.6.5 预测模型及分类

11.6.6 大数据预测分析要素

11.6.7 大数据预测分析的演化

11.6.8 大数据预测分析相关问题

11.6.9 舆情监测与分析

11.7 大数据分析应用

11.7.1 为客户提供服务

11.7.2 优化业务流程

11.7.3 改善生活

11.7.4 提高体育成绩

11.7.5 优化机器和设备性能

11.7.6 改善安全和执法

11.7.7 金融交易

11.7.8 电信业务

11.7.9 销售

11.8 大数据分析平台与工具

11.8.1 大数据分析平台

11.8.2 大数据分析的工具

小结

第12章 大数据挖掘

12.1 数据挖掘概述

12.1.1 数据挖掘的几个概念

12.1.2 数据挖掘对象与过程

12.1.3 数据挖掘的常用方法

12.1.4 数据挖掘的几个问题

12.1.5 数据挖掘的经典算法

12.2 大数据挖掘技术

12.2.1 大数据挖掘关键技术

12.2.2 大数据挖掘策略

12.3 大数据挖掘应用

12.3.1 市场营销

12.3.2 销售

12.3.3 物流

12.3.4 CRM

小结

第13章 大数据可视化

13.1 可视化技术概述

13.1.1 可视化技术的产生与发展

13.1.2 科学可视化

13.1.3 信息可视化

13.1.4 数据可视化

13.2 大数据科学可视化

13.2.1 高可伸缩性的分布式并行可视化算法

13.2.2 并行图像合成算法

13.2.3 并行颗粒跟踪算法

13.2.4 重要信息的提取与显示

13.2.5 原位可视化

13.3 大数据可视化分析

13.3.1 大数据可视化分析概念

13.3.2 大数据可视化分析方法

小结

第14章 大数据安全

14.1 大数据安全概述

14.1.1 数据安全的定义

14.1.2 数据处理与存储的安全

14.1.3 数据安全的基本特点

14.1.4 威胁数据安全的主要因素

14.1.5 安全制度与防护技术

14.1.6 应用

14.2 大数据安全的内容

14.2.1 大数据的不安全因素

14.2.2 大数据安全的关键问题

14.2.3 大数据安全措施

14.3 云安全

14.3.1 云计算中用户的安全需求

14.3.2 威胁模型

14.3.3 云安全的支撑技术

14.3.4 用户数据隐私保护

14.3.5 云计算执行环境的可信性

14.3.6 资源共享问题

小结

第15章 大数据机器学习

15.1 机器学习概述

15.1.1 机器学习的产生与发展

15.1.2 机器学习类型

15.1.3 知识表示形式

15.2 大数据机器学习的特点与评测指标

15.2.1 大数据机器学习的特点

15.2.2 大数据机器学习的评测指标

15.3 大数据机器学习的应用

15.3.1 基于大数据的空气质量推断

15.3.2 人与建筑的关系分析

15.3.3 针对全球问题的预测模型

15.3.4 全球地表覆盖制图可视化与数据分析

小结

第16章 大数据推荐技术

16.1 推荐技术概述

16.1.1 推荐系统的产生与发展

16.1.2 推荐系统的概念

16.1.3 推荐系统架构

16.1.4 推荐系统类型

16.1.5 推荐系统的评判标准

16.2 推荐算法与推荐模式

16.2.1 推荐算法

16.2.2 推荐模式

16.2.3 下一代推荐系统

16.3 大数据推荐技术的挑战

16.3.1 数据稀疏性问题

16.3.2 大数据冷启动

16.3.3 多样性与精确性的两难命题

16.3.4 大数据处理与增量计算问题

16.3.5 推荐系统的脆弱性问题

16.3.6 推荐系统效果评估

16.3.7 用户行为模式的挖掘和利用

16.3.8 用户界面与用户体验

16.3.9 多维数据的交叉利用

16.3.10 社会推荐

16.4 大数据人才推荐系统

小结

第17章 数据科学与数据思维

17.1 数据科学概述

17.1.1 数据科学的定义与信息化过程

17.1.2 数据科学的研究内容

17.1.3 数据科学的研究过程与体系框架

17.2 大数据研究方式

17.2.1 大数据分析的是全面的数据

17.2.2 重视数据的复杂性与弱化精确性

17.2.3 关注数据的相关性而非因果关系

17.3 数据专家

17.3.1 数据科学家

17.3.2 数据处理工程师

17.3.3 大数据思维

小结

参考文献