第1章 绪论

1.1 如果数据有质量，地球将成为黑洞

1.2 学习

1.2.1 机器学习

1.3 机器学习的类别

1.4 监督学习

1.4.1 回归

1.4.2 分类

1.5 机器学习过程

1.6 关于编程的注意事项

1.7 本书的学习路线

拓展阅读

第2章 预备知识

2.1 专业术语

2.1.1 权重空间

2.1.2 维度灾难

2.2 知你所知：测试机器学习算法

2.2.1 过拟合

2.2.2 训练集、测试集和验证集

2.2.3 混淆矩阵

2.2.4 精度指标

2.2.5 受试者工作特征曲线

2.2.6 不平衡数据集

2.2.7 度量精度

2.3 数据与概率的转换

2.3.1 最小化风险

2.3.2 朴素贝叶斯分类

2.4 基本统计概念

2.4.1 平均值

2.4.2 方差与协方差

2.4.3 高斯分布

2.5 权衡偏差与方差

拓展阅读

习题

第3章 神经元、神经网络和线性判别

3.1 大脑和神经元

3.1.1 Hebb法则

3.1.2 McCulloch和Pitts神经元

3.1.3 McCulloch和Pitts神经元模型的局限性

3.2 神经网络

3.3 感知器

3.3.1 学习速率η

3.3.2 输入偏置

3.3.3 感知器学习算法

3.3.4 感知器学习示例

3.3.5 具体实现

3.4 线性可分性

3.4.1 感知器收敛定理

3.4.2 XOR函数

3.4.3 有用的领悟

3.4.4 另一个示例：皮马印第安人数据集

3.4.5 数据预处理

3.5 线性回归

3.5.1 示例

拓展阅读

习题

第4章 多层感知器

4.1 前向

4.1.1 偏置

4.2 后向：误差的反向传播

4.2.1 多层感知器算法

4.2.2 初始化权重

4.2.3 不同的输出激活函数

4.2.4 顺序和批量训练

4.2.5 局部最小

4.2.6 利用冲量

4.2.7 小批量和随机梯度下降

4.2.8 其他改善方法

4.3 实践中的MLP

4.3.1 训练数据的量

4.3.2 隐藏层的数目

4.3.3 什么时候停止学习

4.4 MLP应用示例

4.4.1 回归问题

4.4.2 使用MLP分类

4.4.3 分类示例：iris数据集

4.4.4 时间序列预测

4.4.5 数据压缩：自动关联网络

4.5 MLP使用指南

4.6 反向传播的推导

4.6.1 网络输出

4.6.2 网络误差

4.6.3 激活函数的要求

4.6.4 误差的后向传播

4.6.5 输出激活函数

4.6.6 误差函数的另一种形式

拓展阅读

习题

第5章 径向基函数和样条函数

5.1 感受野

5.2 径向基函数网络

5.2.1 训练RBF网络

5.3 插值和基函数

5.3.1 基和基扩展

5.3.2 三次样条函数

5.3.3 用样条拟合数据

5.3.4 平滑样条

5.3.5 更高维度

5.3.6 边界之外

拓展阅读

习题

第6章 维度约简

6.1 线性判别分析

6.2 主成分分析

6.2.1 PCA算法与多层感知器的关系

6.2.2 核PCA

6.3 因素分析

6.4 独立成分分析

6.5 局部线性嵌入

6.6 ISOMAP算法

6.6.1 多维标度法

拓展阅读

习题

第7章 概率学习

7.1 高斯混合模型

7.1.1 期望最大化算法

7.1.2 信息准则

7.2 最近邻法

7.2.1 近邻平滑

7.2.2 有效的距离计算：KD-Tree

7.2.3 距离度量

拓展阅读

习题

第8章 支持向量机

8.1 最优分割

8.1.1 间隔和支持向量

8.1.2 约束优化问题

8.1.3 非线性可分问题的松弛变量

8.2 核

8.2.1 选择核

8.2.2 示例：XOR

8.3 支持向量机算法

8.3.1 实现

8.3.2 示例

8.4 支持向量机的拓展

8.4.1 多类分类

8.4.2 支持向量机回归

8.4.3 其他优势

拓展阅读

习题

第9章 优化和搜索

9.1 下山法

9.1.1 泰勒展开

9.2 最小二乘优化

9.2.1 Levenberg-Marquardt算法

9.3 共轭梯度法

9.3.1 示例

9.3.2 共轭梯度和MLP

9.4 搜索：三种基本方法

9.4.1 穷举法

9.4.2 贪婪搜索

9.4.3 爬山法

9.5 开发和探索

9.6 模拟退火法

9.6.1 算法比较

拓展阅读

习题

第10章 进化学习

10.1 遗传算法

10.1.1 字符串表示

10.1.2 评价适应度

10.1.3 种群

10.1.4 产生后代：选择父母

10.2 产生后代：遗传算子

10.2.1 交叉

10.2.2 变异

10.2.3 精英法、比赛法和小生境

10.3 使用遗传算法

10.3.1 图着色

10.3.2 间断平衡

10.3.3 示例：背包问题

10.3.4 示例：四峰问题

10.3.5 遗传算法的缺陷

10.3.6 用遗传算法训练神经网络

10.4 遗传程序

10.5 与采样结合的进化学习

拓展阅读

习题

第11章 强化学习

11.1 概述

11.2 示例：迷路

11.2.1 状态和动作空间

11.2.2 胡萝卜和棍子：奖赏函数

11.2.3 折扣

11.2.4 动作选择

11.2.5 策略

11.3 马尔可夫决策过程

11.3.1 马尔可夫性

11.3.2 马尔可夫决策过程中的概率

11.4 值

11.5 回到迷路的示例：利用强化学习

11.6 sarsa和Q-learning的不同

11.7 强化学习的用处

拓展阅读

习题

第12章 树的学习

12.1 使用决策树

12.2 构建决策树

12.2.1 快速入门：信息论中的熵

12.2.2 ID3

12.2.3 基于Python的树和图的实现

12.2.4 决策树的实现

12.2.5 处理连续变量

12.2.6 计算复杂度

12.3 分类和回归树

12.3.1 基尼不纯度

12.3.2 树回归

12.4 分类示例

拓展阅读

习题

第13章 委员会决策：集成学习

13.1 boosting

13.1.1 AdaBoost

13.1.2 掘根

13.2 bagging

13.2.1 subagging

13.3 随机森林

13.3.1 与boosting方法比较

13.4 组合分类器的不同方法

拓展阅读

习题

第14章 无监督学习

14.1 k-means算法

14.1.1 处理噪点

14.1.2 k-means神经网络

14.1.3 归一化

14.1.4 一个更好的权重更新规则

14.1.5 示例：iris数据

14.1.6 使用竞争学习来聚类

14.2 向量量化

14.3 自组织特征映射

14.3.1 SOM算法

14.3.2 近邻连接

14.3.3 自组织

14.3.4 网络维度和边界条件

14.3.5 SOM应用示例

拓展阅读

习题

第15章 马尔可夫链蒙特卡罗方法

15.1 采样

15.1.1 随机数

15.1.2 高斯随机数

15.2 蒙特卡罗

15.3 建议分布

15.4 马尔可夫链蒙特卡罗

15.4.1 马尔可夫链

15.4.2 Metropolis-Hastings算法

15.4.3 模拟退火

15.4.4 Gibbs采样

拓展阅读

习题

第16章 图模型

16.1 贝叶斯网络

16.1.1 示例：考试恐惧

16.1.2 近似推断

16.1.3 创建贝叶斯网络

16.2 马尔可夫随机场

16.3 隐马尔可夫模型

16.3.1 前向算法

16.3.2 Viterbi算法

16.3.3 Baum-Welch或前向-后向算法

16.4 跟踪方法

16.4.1 卡尔曼滤波

16.4.2 粒子滤波

拓展阅读

习题

第17章 对称权重与深度置信网络

17.1 积极学习：Hopfield网络

17.1.1 联想记忆

17.1.2 实现联想记忆

17.1.3 能量函数

17.1.4 Hopfield网络的容量

17.1.5 连续Hopfield网络

17.2 随机神经元：玻尔兹曼机

17.2.1 受限玻尔兹曼机

17.2.2 CD算法的推导

17.2.3 监督学习

17.2.4 RBM作为定向置信网络

17.3 深度学习

17.3.1 深度置信网络

拓展阅读

习题

第18章 高斯过程

18.1 高斯过程回归

18.1.1 添加噪声

18.1.2 高斯过程回归的实现（一）

18.1.3 学习参数

18.1.4 高斯过程回归的实现（二）

18.1.5 选择（一组）协方差函数

18.2 高斯过程分类

18.2.1 拉普拉斯近似

18.2.2 计算后验

18.2.3 高斯过程分类的实现

拓展阅读

习题

附录 Python入门