内容简介
第Ⅰ部分 可扩展计算的基础
第1章 可扩展计算的重要性
1.1 Dask的优势
1.2 有向无环图
1.3 横向扩展、并发和恢复
1.3.1 纵向扩展和横向扩展
1.3.2 并发和资源管理
1.3.3 从失败中恢复
1.4 本书使用的数据集
1.5 本章小结
第2章 Dask入门
2.1 DataFrameAPI初探
2.1.1 Dask对象的元数据
2.1.2 使用compute方法运行计算任务
2.1.3 使用persist简化复杂计算
2.2 DAG的可视化
2.2.1 使用Dask延迟对象查看DAG
2.2.2 带有循环和集合的复杂DAG的可视化
2.2.3 使用persist简化DAG
2.3 任务调度
2.3.1 延迟计算
2.3.2 数据本地化
2.4 本章小结
第Ⅱ部分 使用Dask DataFrame处理结构化数据
第3章 介绍Dask DataFrame
3.1 为什么使用DataFrame
3.2 Dask和Pandas
3.2.1 管理DataFrame分区
3.2.2 “混洗”介绍
3.3 Dask DataFrame的局限性
3.4 本章小结
第4章 将数据读入DataFrame
4.1 从文本文件读取数据
4.1.1 Dask数据类型
4.1.2 为Dask DataFrame创建数据模式
4.2 从关系数据库中读取数据
4.3 从HDFS和S3中读取数据
4.4 读取Parquet格式的数据
4.5 本章小结
第5章 DataFrame的清理和转换
5.1 使用索引和轴
5.1.1 从DataFrame中选择列
5.1.2 从DataFrame中删除列
5.1.3 DataFrame中列的重命名
5.1.4 从DataFrame中选择行
5.2 处理缺失值
5.2.1 对DataFrame中的缺失值计数
5.2.2 删除含有缺失值的列
5.2.3 填充缺失值
5.2.4 删除缺少数据的行
5.2.5 使用缺失值输入多个列
5.3 数据重编码
5.4 元素运算
5.5 过滤和重新索引DataFrame
5.6 DataFrame的连接
5.6.1 连接两个DataFrame
5.6.2 合并两个DataFrame
5.7 将数据写入文本文件和Parquet文件
5.7.1 写入含分隔符的文本文件
5.7.2 写入Parquet文件
5.8 本章小结
第6章 聚合和分析DataFrame
6.1 描述性统计信息
6.1.1 什么是描述性统计信息
6.1.2 使用Dask计算描述性统计信息
6.1.3 使用describe方法进行描述性统计
6.2 内置的聚合函数
6.2.1 什么是相关性
6.2.2 计算Dask DataFrame的相关性
6.3 自定义聚合函数
6.3.1 使用t检验测试分类变量
6.3.2 使用自定义聚合函数来实现Brown-Forsythe检验
6.4 滚动(窗口)功能
6.4.1 为滚动函数准备数据
6.4.2 将rolling方法应用到一个窗口函数
6.5 本章小结
第7章 使用Seaborn对DataFrame进行可视化
7.1 prepare-reduce-collect-plot模式
7.2 可视化散点图与规则图的延伸关系
7.2.1 使用Dask和Seaborn创建散点图
7.2.2 在散点图中添加线性回归线
7.2.3 在散点图中添加非线性回归线
7.3 使用小提琴图可视化分类关系
7.3.1 使用Dask和Seaborn创建小提琴图
7.3.2 从Dask DataFrame随机采样数据
7.4 使用热图可视化两个分类关系
7.5 本章小结
第8章 用Datashader对位置数据可视化
8.1 什么是Datashader?它是如何工作的?
8.1.1 Datashader渲染流程的五个阶段
8.1.2 使用Datashader进行可视化
8.2 将位置数据绘制为交互式热图
8.2.1 准备用于地图平铺的地理数据
8.2.2 创建交互式热图
8.3 本章小结
第Ⅲ部分 扩展和部署Dask
第9章 使用Bag和Arrays
9.1 使用Bag读取和解析非结构化数据
9.1.1 从Bag中选择和查看数据
9.1.2 常见的解析错误和解决办法
9.1.3 使用分隔符
9.2 转换、过滤和合并元素
9.2.1 使用map函数转换元素
9.2.2 使用filter函数过滤Bag
9.2.3 计算Bag的描述统计量
9.2.4 使用foldby方法创建聚合函数
9.3 从Bag中创建Arrays和DataFrame
9.4 使用Bag和NLTK进行并行文本分析
9.4.1 二元分析的基础
9.4.2 提取token和过滤停顿词
9.4.3 分析二元组
9.5 本章小结
第10章 使用Dask-ML进行机器学习
10.1 使用Dask-ML建立线性模型
10.1.1 准备二进制向量化数据
10.1.2 使用Dask-ML建立Logistic回归模型
10.2 评估和调整Dask-ML模型
10.2.1 用计分法评估Dask-ML模型
10.2.2 使用Dask-ML构建朴贝叶斯分类器
10.2.3 自动调整超参数
10.3 持续的Dask-ML模型
10.4 本章小结
第11章 扩展和部署Dask
11.1 使用Docker在AmazonAWS上创建Dask集群
11.1.1 入门
11.1.2 生成安全密钥
11.1.3 创建ECS集群
11.1.4 配置集群的网络
11.1.5 在Elastic文件系统中创建共享数据驱动
11.1.6 在Elastic Container Repository中为Docker镜像分配空间
11.1.7 为调度器、工作节点和Notebook创建和部署镜像
11.1.8 连接到集群
11.2 在集群上运行和监视Dask作业
11.3 在AWS上清理Dask集群
11.4 本章小结
附录A 软件的安装