1 机器学习与深度学习的概念

1.1 什么是机器学习

1.1.1 机器学习的形式

1.1.2 机器学习的几个组成部分

1.2 深度学习的逆袭

1.3 深层模型在视觉领域的应用

1.4 本书的主要内容

1.5 总结

2 数学与机器学习基础

2.1 线性代数基础

2.2 对称矩阵的性质

2.2.1 特征值与特征向量

2.2.2 对称矩阵的特征值和特征向量

2.2.3 对称矩阵的对角化

2.3 概率论

2.3.1 概率与分布

2.3.2 最大似然估计

2.4 信息论基础

2.5 KL散度

2.6 凸函数及其性质

2.7 机器学习基本概念

2.8 机器学习的目标函数

2.9 总结

3 CNN的基石：全连接层

3.1 线性部分

3.2 非线性部分

3.3 神经网络的模样

3.4 反向传播法

3.4.1 反向传播法的计算方法

3.4.2 反向传播法在计算上的抽象

3.4.3 反向传播法在批量数据上的推广

3.4.4 具体的例子

3.5 参数初始化

3.6 总结

4 CNN的基石：卷积层

4.1 卷积操作

4.1.1 卷积是什么

4.1.2 卷积层效果展示

4.1.3 卷积层汇总了什么

4.1.4 卷积的另一种解释

4.2 卷积层的反向传播

4.2.1 实力派解法

4.2.2 “偶像派”解法

4.3 ReLU

4.3.1 梯度消失问题

4.3.2 ReLU的理论支撑

4.3.3 ReLU的线性性质

4.3.4 ReLU的不足

4.4 总结

4.5 参考文献

5 Caffe入门

5.1 使用Caffe进行深度学习训练

5.1.1 数据预处理

5.1.2 网络结构与模型训练的配置

5.1.3 训练与再训练

5.1.4 训练日志分析

5.1.5 预测检验与分析

5.1.6 性能测试

5.2 模型配置文件介绍

5.3 Caffe的整体结构

5.3.1 SyncedMemory

5.3.2 Blob

5.3.3 Layer

5.3.4 Net

5.3.5 Solver

5.3.6 多GPU训练

5.3.7 IO

5.4 Caffe的Layer

5.4.1 Layer的创建——LayerRegistry

5.4.2 Layer的初始化

5.4.3 Layer的前向计算

5.5 Caffe的Net组装流程

5.6 Caffe的Solver计算流程

5.6.1 优化流程

5.6.2 多卡优化算法

5.7 Caffe的Data Layer

5.7.1 Datum结构

5.7.2 DataReader Thread

5.7.3 BasePrefetchingDataLayer Thread

5.7.4 Data Layer

5.8 Caffe的Data Transformer

5.8.1 C＋＋中的Data Transformer

5.8.2 Python中的Data Transformer

5.9 模型层扩展实践——Center Loss Layer

5.9.1 Center Loss的原理

5.9.2 Center Loss实现

5.9.3 实验分析与总结

5.10 总结

5.11 参考文献

6 深层网络的数值问题

6.1 ReLU和参数初始化

6.1.1 第一个ReLU数值实验

6.1.2 第二个ReLU数值实验

6.1.3 第三个实验——Sigmoid

6.2 Xavier初始化

6.3 MSRA初始化

6.3.1 前向推导

6.3.2 后向推导

6.4 ZCA

6.5 与数值溢出的战斗

6.5.1 Softmax Layer

6.5.2 Sigmoid Cross Entropy Loss

6.6 总结

6.7 参考文献

7 网络结构

7.1 关于网络结构，我们更关心什么

7.2 网络结构的演化

7.2.1 VGG：模型哲学

7.2.2 GoogLeNet：丰富模型层的内部结构

7.2.3 ResNet：从乘法模型到加法模型

7.2.4 全连接层的没落

7.3 Batch Normalization

7.3.1 Normalization

7.3.2 使用BN层的实验

7.3.3 BN的实现

7.4 对Dropout的思考

7.5 从迁移学习的角度观察网络功能

7.6 ResNet的深入分析

7.6.1 DSN解决梯度消失问题

7.6.2 ResNet网络的展开结构

7.6.3 FractalNet

7.6.4 DenseNet

7.7 总结

7.8 参考文献

8 优化与训练

8.1 梯度下降是一门手艺活儿

8.1.1 什么是梯度下降法

8.1.2 优雅的步长

8.2 路遥知马力：动量

8.3 SGD的变种算法

8.3.1 非凸函数

8.3.2 经典算法的弯道表现

8.3.3 Adagrad

8.3.4 Rmsprop

8.3.5 AdaDelta

8.3.6 Adam

8.3.7 爬坡赛

8.3.8 总结

8.4 L1正则的效果

8.4.1 MNIST的L1正则实验

8.4.2 次梯度下降法

8.5 寻找模型的弱点

8.5.1 泛化性实验

8.5.2 精确性实验

8.6 模型优化路径的可视化

8.7 模型的过拟合

8.7.1 过拟合方案

8.7.2 SGD与过拟合

8.7.3 对于深层模型泛化的猜想

8.8 总结

8.9 参考文献

9 应用：图像的语意分割

9.1 FCN

9.2 CRF通俗非严谨的入门

9.2.1 有向图与无向图模型

9.2.2 Log-Linear Model

9.2.3 条件随机场

9.3 Dense CRF

9.3.1 Dense CRF是如何被演化出来的

9.3.2 Dense CRF的公式形式

9.4 Mean Field对Dense CRF模型的化简

9.5 Dense CRF的推断计算公式

9.5.1 Variational Inference推导

9.5.2 进一步化简

9.6 完整的模型：CRF as RNN

9.7 总结

9.8 参考文献

10 应用：图像生成

10.1 VAE

10.1.1 生成式模型

10.1.2 Variational Lower bound

10.1.3 Reparameterization Trick

10.1.4 Encoder和Decoder的计算公式

10.1.5 实现

10.1.6 MNIST生成模型可视化

10.2 GAN

10.2.1 GAN的概念

10.2.2 GAN的训练分析

10.2.3 GAN实战

10.3 Info-GAN

10.3.1 互信息

10.3.2 InfoGAN模型

10.4 Wasserstein GAN

10.4.1 分布的重叠度

10.4.2 两种目标函数存在的问题

10.4.3 Wasserstein距离

10.4.4 Wasserstein距离的优势

10.4.5 Wasserstein GAN的实现

10.5 总结

10.6 参考文献