第一部分 数据挖掘基础

第1章 绪论

1.1数据挖掘和机器学习

1.1.1描述结构模式

1.1.2机器学习

1.1.3数据挖掘

1.2简单的例子：天气问题和其他问题

1.2.1天气问题

1.2.2隐形眼镜：一个理想化的问题

1.2.3鸢尾花：一个经典的数值型数据集

1.2.4 CPU性能：引入数值预测

1.2.5劳资协商：一个更真实的例子

1.2.6大豆分类：一个经典的机器学习的成功例子

1.3应用领域

1.3.1 Web挖掘

1.3.2包含判断的决策

1.3.3图像筛选

1.3.4负载预测

1.3.5诊断

1.3.6市场和销售

1.3.7其他应用

1.4数据挖掘过程

1.5机器学习和统计学

1.6将泛化看作搜索

1.6.1枚举概念空间

1.6.2偏差

1.7数据挖掘和道德问题

1.7.1再识别

1.7.2使用个人信息

1.7.3其他问题

1.8拓展阅读及参考文献

第2章 输入：概念、实例和属性

2.1概念

2.2实例

2.2.1关系

2.2.2其他实例类型

2.3属性

2.4输入准备

2.4.1数据收集

2.4.2 ARFF格式

2.4.3稀疏数据

2.4.4属性类型

2.4.5缺失值

2.4.6不正确的值

2.4.7非均衡数据

2.4.8了解数据

2.5拓展阅读及参考文献

第3章 输出：知识表达

3.1表

3.2线性模型

3.3树

3.4规则

3.4.1分类规则

3.4.2关联规则

3.4.3包含例外的规则

3.4.4表达能力更强的规则

3.5基于实例的表达

3.6聚类

3.7拓展阅读及参考文献

第4章 算法：基本方法

4.1推断基本规则

4.2简单概率模型

4.2.1缺失值和数值属性

4.2.2用于文档分类的朴素贝叶斯

4.2.3讨论

4.3分治法：创建决策树

4.3.1计算信息量

4.3.2高度分支属性

4.4覆盖算法：建立规则

4.4.1规则与树

4.4.2一个简单的覆盖算法

4.4.3规则与决策列表

4.5关联规则挖掘

4.5.1项集

4.5.2关联规则

4.5.3高效地生成规则

4.6线性模型

4.6.1数值预测：线性回归

4.6.2线性分类：logistic回归

4.6.3使用感知机的线性分类

4.6.4使用Winnow的线性分类

4.7基于实例的学习

4.7.1 距离函数

4.7.2高效寻找最近邻

4.7.3讨论

4.8聚类

4.8.1基于距离的迭代聚类

4.8.2更快的距离计算

4.8.3选择簇的个数

4.8.4层次聚类

4.8.5层次聚类示例

4.8.6增量聚类

4.8.7分类效用

4.8.8讨论

4.9多实例学习

4.9.1聚集输入

4.9.2聚集输出

4.10拓展阅读及参考文献

4.11 Weka实现

第5章 可信度：评估学习结果

5.1训练和测试

5.2预测性能

5.3交叉验证

5.4其他评估方法

5.4.1留一交叉验证法

5.4.2自助法

5.5超参数选择

5.6数据挖掘方法比较

5.7预测概率

5.7.1二次损失函数

5.7.2信息损失函数

5.7.3讨论

5.8计算成本

5.8.1成本敏感分类

5.8.2成本敏感学习

5.8.3提升图

5.8.4 ROC曲线

5.8.5召回率-精确率曲线

5.8.6讨论

5.8.7成本曲线

5.9评估数值预测

5.10最小描述长度原理

5.11将MDL原理应用于聚类

5.12使用验证集进行模型选择

5.13拓展阅读及参考文献

第二部分 高级机器学习方案

第6章 树和规则

6.1决策树

6.1.1数值属性

6.1.2缺失值

6.1.3剪枝

6.1.4估计误差率

6.1.5决策树归纳法的复杂度

6.1.6从决策树到规则

6.1.7 C4.5：选择和选项

6.1.8成本-复杂度剪枝

6.1.9讨论

6.2分类规则

6.2.1选择测试的标准

6.2.2缺失值和数值属性

6.2.3生成好的规则

6.2.4使用全局优化

6.2.5从局部决策树中获得规则

6.2.6包含例外的规则

6.2.7讨论

6.3关联规则

6.3.1建立频繁模式树

6.3.2寻找大项集

6.3.3讨论

6.4 Weka实现

第7章 基于实例的学习和线性模型的扩展

7.1基于实例的学习

7.1.1减少样本集的数量

7.1.2对噪声样本集剪枝

7.1.3属性加权

7.1.4泛化样本集

7.1.5用于泛化样本集的距离函数

7.1.6泛化的距离函数

7.1.7讨论

7.2扩展线性模型

7.2.1最大间隔超平面

7.2.2非线性类边界

7.2.3支持向量回归

7.2.4核岭回归

7.2.5核感知机

7.2.6多层感知机

7.2.7径向基函数网络

7.2.8随机梯度下降

7.2.9讨论

7.3局部线性模型用于数值预测

7.3.1模型树

7.3.2构建树

7.3.3对树剪枝

7.3.4名目属性

7.3.5缺失值

7.3.6模型树归纳的伪代码

7.3.7从模型树到规则

7.3.8局部加权线性回归

7.3.9讨论

7.4 Weka实现

第8章 数据转换

8.1属性选择

8.1.1独立于方案的选择

8.1.2搜索属性空间

8.1.3具体方案相关的选择

8.2离散化数值属性

8.2.1无监督离散化

8.2.2基于熵的离散化

8.2.3其他离散化方法

8.2.4基于熵和基于误差的离散化

8.2.5将离散属性转换成数值属性

8.3投影

8.3.1主成分分析

8.3.2随机投影

8.3.3偏最小二乘回归

8.3.4独立成分分析

8.3.5线性判别分析

8.3.6二次判别分析

8.3.7 Fisher线性判别分析

8.3.8从文本到属性向量

8.3.9时间序列

8.4抽样

8.5数据清洗

8.5.1改进决策树

8.5.2稳健回归

8.5.3检测异常

8.5.4一分类学习

8.5.5离群点检测

8.5.6生成人工数据

8.6将多分类问题转换成二分类问题

8.6.1简单方法

8.6.2误差校正输出编码

8.6.3集成嵌套二分法

8.7校准类概率

8.8拓展阅读及参考文献

8.9 Weka实现

第9章 概率方法

9.1基础

9.1.1最大似然估计

9.1.2最大后验参数估计

9.2贝叶斯网络

9.2.1预测

9.2.2学习贝叶斯网络

9.2.3具体算法

9.2.4用于快速学习的数据结构

9.3聚类和概率密度估计

9.3.1用于高斯混合模型的期望最大化算法

9.3.2扩展混合模型

9.3.3使用先验分布聚类

9.3.4相关属性聚类

9.3.5核密度估计

9.3.6比较用于分类的参数、半参数和无参数的密度模型

9.4隐藏变量模型

9.4.1对数似然和梯度的期望

9.4.2期望最大化算法

9.4.3将期望最大化算法应用于贝叶斯网络

9.5贝叶斯估计与预测

9.6图模型和因子图

9.6.1图模型和盘子表示法

9.6.2概率主成分分析

9.6.3隐含语义分析

9.6.4使用主成分分析来降维

9.6.5概率LSA

9.6.6隐含狄利克雷分布

9.6.7因子图

9.6.8马尔可夫随机场

9.6.9使用sum-product算法和max-product算法进行计算

9.7条件概率模型

9.7.1概率模型的线性和多项式回归

9.7.2使用先验参数

9.7.3多分类logistic回归

9.7.4梯度下降和二阶方法

9.7.5广义线性模型

9.7.6有序类的预测

9.7.7使用核函数的条件概率模型

9.8时序模型

9.8.1马尔可夫模型和N元法

9.8.2隐马尔可夫模型

9.8.3条件随机场

9.9拓展阅读及参考文献

9.10 Weka实现

第10章 深度学习

10.1深度前馈网络

10.1.1 MNIST评估

10.1.2损失和正则化

10.1.3深层网络体系结构

10.1.4激活函数

10.1.5重新审视反向传播

10.1.6计算图以及复杂的网络结构

10.1.7验证反向传播算法的实现

10.2训练和评估深度网络

10.2.1早停

10.2.2验证、交叉验证以及超参数调整

10.2.3小批量随机梯度下降

10.2.4小批量随机梯度下降的伪代码

10.2.5学习率和计划

10.2.6先验参数的正则化

10.2.7丢弃法

10.2.8批规范化

10.2.9参数初始化

10.2.10无监督的预训练

10.2.11数据扩充和合成转换

10.3卷积神经网络

10.3.1 ImageNet评估和深度卷积神经网络

10.3.2从图像滤波到可学习的卷积层

10.3.3卷积层和梯度

10.3.4池化层二次抽样层以及梯度

10.3.5实现

10.4自编码器

10.4.1使用RBM预训练深度自编码器

10.4.2降噪自编码器和分层训练

10.4.3重构和判别式学习的结合

10.5随机深度网络

10.5.1玻尔兹曼机

10.5.2受限玻尔兹曼机

10.5.3对比分歧

10.5.4分类变量和连续变量

10.5.5深度玻尔兹曼机

10.5.6深度信念网络

10.6递归神经网络

10.6.1梯度爆炸与梯度消失

10.6.2其他递归网络结构

10.7拓展阅读及参考文献

10.8深度学习软件以及网络实现

10.8.1 Theano

10.8.2 Tensor Flow

10.8.3 Torch

10.8.4 CNTK

10.8.5 Caffe

10.8.6 DeepLearning4j

10.8.7其他包：Lasagne、Keras以及cuDNN

10.9 Weka实现

第11章 有监督和无监督学习

11.1半监督学习

11.1.1用以分类的聚类

11.1.2协同训练

11.1.3 EM和协同训练

11.1.4神经网络方法

11.2多实例学习

11.2.1转换为单实例学习

11.2.2升级学习算法

11.2.3专用多实例方法

11.3拓展阅读及参考文献

11.4 Weka实现

第12章 集成学习

12.1组合多种模型

12.2装袋

12.2.1偏差-方差分解

12.2.2考虑成本的装袋

12.3随机化

12.3.1随机化与装袋

12.3.2旋转森林

12.4提升

12.4.1 AdaBoost算法

12.4.2提升算法的威力

12.5累加回归

12.5.1数值预测

12.5.2累加logistic回归

12.6可解释的集成器

12.6.1选择树

12.6.2 logistic模型树

12.7堆栈

12.8拓展阅读及参考文献

12.9 Weka实现

第13章 扩展和应用

13.1应用机器学习

13.2从大型的数据集学习

13.3数据流学习

13.4融合领域知识

13.5文本挖掘

13.5.1文档分类与聚类

13.5.2信息提取

13.5.3自然语言处理

13.6 Web挖掘

13.6.1包装器归纳

13.6.2网页分级

13.7图像和语音

13.7.1图像

13.7.2语音

13.8对抗情形

13.9无处不在的数据挖掘

13.10拓展阅读及参考文献

13.11 Weka实现

附录A 理论基础

附录B Weka工作平台

索引