第一部分 绪论

0.1 引言

0.2 什么是深度学习

0.3 深度学习的前世今生

第二部分 基础理论篇

1卷积神经网络基础知识

1.1 发展历程

1.2 基本结构

1.3 前馈运算

1.4 反馈运算

1.5 小结

2卷积神经网络基本部件

2.1 “端到端”思想

2.2 网络符号定义

2.3 卷积层

2.3.1 什么是卷积

2.3.2 卷积操作的作用

2.4 汇合层

2.4.1 什么是汇合

2.4.2 汇合操作的作用

2.5 激活函数

2.6 全连接层

2.7 目标函数

2.8 小结

3卷积神经网络经典结构

3.1 CNN网络结构中的重要概念

3.1.1 感受野

3.1.2 分布式表示

3.1.3 深度特征的层次性

3.2 经典网络案例分析

3.2.1 Alex-Net网络模型

3.2.2 VGG-Nets网络模型

3.2.3 Network-In-Network

3.2.4 残差网络模型

3.3 小结

4卷积神经网络的压缩

4.1 低秩近似

4.2 剪枝与稀疏约束

4.3 参数量化

4.4 二值网络

4.5 知识蒸馏

4.6 紧凑的网络结构

4.7 小结

第三部分 实践应用篇

5数据扩充

5.1 简单的数据扩充方式

5.2 特殊的数据扩充方式

5.2.1 Fancy PCA

5.2.2 监督式数据扩充

5.3 小结

6数据预处理

7网络参数初始化

7.1 全零初始化

7.2 随机初始化

7.3 其他初始化方法

7.4 小结

8激活函数

8.1 Sigmoid型函数

8.2 tanh（x）型函数

8.3 修正线性单元（ReLU）

8.4 Leaky ReLU

8.5 参数化ReLU

8.6 随机化ReLU

8.7 指数化线性单元（ELU）

8.8 小结

9目标函数

9.1 分类任务的目标函数

9.1.1 交叉熵损失函数

9.1.2 合页损失函数

9.1.3 坡道损失函数

9.1.4 大间隔交叉熵损失函数

9.1.5 中心损失函数

9.2 回归任务的目标函数

9.2.1 e1损失函数

9.2.2 e2损失函数

9.2.3 Tukey’s biweight损失函数

9.3 其他任务的目标函数

9.4 小结

10网络正则化

10.1 e2正则化

10.2 e1正则化

10.3 最大范数约束

10.4 随机失活

10.5 验证集的使用

10.6 小结

11超参数设定和网络训练

11.1 网络超参数设定

11.1.1 输入数据像素大小

11.1.2 卷积层参数的设定

11.1.3 汇合层参数的设定

11.2 训练技巧

11.2.1 训练数据随机打乱

11.2.2 学习率的设定

11.2.3 批规范化操作

11.2.4 网络模型优化算法选择

11.2.5 微调神经网络

11.3 小结

12不平衡样本的处理

12.1 数据层面处理方法

12.1.1 数据重采样

12.1.2 类别平衡采样

12.2 算法层面处理方法

12.2.1 代价敏感方法

12.2.2 代价敏感法中权重的指定方式

12.3 小结

13模型集成方法

13.1 数据层面的集成方法

13.1.1 测试阶段数据扩充

13.1.2 “简易集成”法

13.2 模型层面的集成方法

13.2.1 单模型集成

13.2.2 多模型集成

13.3 小结

14深度学习开源工具简介

14.1 常用框架对比

14.2 常用框架的各自特点

14.2.1 Caffe

14.2.2 Deeplearning4j

14.2.3 Keras

14.2.4 MXNet

14.2.5 MatConvNet

14.2.6 TensorFlow

14.2.7 Theano

14.2.8 Torch

14.3 其他

A 向量、矩阵及其基本运算

B 随机梯度下降

C 链式法则

参考文献

索引