第1章 数学基础

1.1线性代数

1.1.1向量

1.1.2标量

1.1.3矩阵

1.1.4张量

1.1.5矩阵的运算和操作

1.1.6向量的线性独立

1.1.7矩阵的秩

1.1.8单位矩阵或恒等运算符

1.1.9矩阵的行列式

1.1.10逆矩阵

1.1.11向量的范数（模）

1.1.12伪逆矩阵

1.1.13以特定向量为方向的单位向量

1.1.14一个向量在另一个向量方向上的投影（或射影）

1.1.15 特征向量

1.2微积分

1.2.1微分

1.2.2函数的梯度

1.2.3连续偏导数

1.2.4海森矩阵

1.2.5函数的极大值和极小值

1.2.6局部极小值和全局最小值

1.2.7半正定以及正定矩阵

1.2.8凸集

1.2.9凸函数

1.2.10非凸函数

1.2.11多变量凸函数以及非凸函数范例

1.2.12泰勒级数

1.3概率

1.3.1并集、交集和条件概率

1.3.2事件交集概率的链式法则

1.3.3互斥事件

1.3.4事件独立性

1.3.5事件条件独立性

1.3.6贝叶斯定理（公式）

1.3.7概率质量函数

1.3.8概率密度函数

1.3.9随机变量的数学期望

1.3.10随机变量的方差

1.3.11偏度和峰度

1.3.12协方差

1.3.13相关性系数

1.3.14一些常见的概率分布

1.3.15 似然函数

1.3.16最大似然估计

1.3.17假设检验和p值

1.4机器学习算法的制定与优化算法

1.4.1监督学习

1.4.2无监督学习

1.4.3机器学习的优化算法

1.4.4约束优化问题

1.5机器学习中的几个重要主题

1.5.1降维方法

1.5.2正则化

1.5.3约束优化问题中的正则化

1.6总结

第2章 深度学习概念和TensorFlow介绍

2.1深度学习及其发展

2.2感知机和感知机学习算法

2.2.1感知机学习的几何解释

2.2.2感知机学习的局限性

2.2.3非线性需求

2.2.4隐藏层感知机的非线性激活函数

2.2.5神经元或感知机的不同激活函数

2.2.6多层感知机网络的学习规则

2.2.7梯度计算的反向传播

2.2.8反向传播方法推广到梯度计算

2.3 TensorFlow

2.3.1常见的深度学习包

2.3.2 TensorFlow的安装

2.3.3 TensorFlow的开发基础

2.3.4深度学习视角下的梯度下降优化方法

2.3.5随机梯度下降的小批量方法中的学习率

2.3.6 TensorFlow中的优化器

2.3.7 TensorFlow实现XOR

2.3.8 TensorFlow中的线性回归

2.3.9使用全批量梯度下降的SoftMax函数多分类

2.3.10使用随机梯度下降的SoftMax函数多分类

2.4 GPU

2.5总结

第3章 卷积神经网络

3.1卷积操作

3.1.1线性时不变和线性移不变系统

3.1.2一维信号的卷积

3.2模拟信号和数字信号

3.2.1二维和三维信号

3.3二维卷积

3.3.1二维单位阶跃函数

3.3.2 ISI系统中单位阶跃响应信号的二维卷积

3.3.3不同的LSI系统中图像的二维卷积

3.4常见的图像处理滤波器

3.4.1均值滤波器

3.4.2中值滤波器

3.4.3高斯滤波器

3.4.4梯度滤波器

3.4.5 Sobel边缘检测滤波器

3.4.6恒等变换

3.5卷积神经网络

3.6卷积神经网络的组成部分

3.6.1输入层

3.6.2卷积层

3.6.3池化层

3.7卷积层中的反向传播

3.8池化层中的反向传播

3.9卷积中的权值共享及其优点

3.10平移同变性

3.11池化的平移不变性

3.12丢弃层和正则化

3.13 MNIST数据集上进行手写数字识别的卷积神经网络

3.14用来解决现实问题的卷积神经网络

3.15批规范化

3.16卷积神经网络中的几种不同的网络结构

3.16.1 LeNet

3.16.2 AlexNet

3.16.3 VGG16

3.16.4 ResNet

3.17迁移学习

3.17.1迁移学习的使用指导

3.17.2使用谷歌InceptionV3网络进行迁移学习

3.17.3使用预训练的VGG16网络迁移学习

3.18总结

第4章 基于循环神经网络的自然语言处理

4.1向量空间模型

4.2单词的向量表示

4.3 Word2Vec

4.3.1 CBOW

4.3.2 CBOW在TensorFlow中的实现

4.3.3词向量嵌入的Skip-gram模型

4.3.4 Skip-gram在TensorFlow中的实现

4.3.5基于全局共现方法的词向量

4.3.6 GloVe

4.3.7词向量类比法

4.4循环神经网络的介绍

4.4.1语言建模

4.4.2用循环神经网络与传统方法预测句子中的下一个词的对比

4.4.3基于时间的反向传播

4.4.4循环神经网络中的梯度消失与爆炸问题

4.4.5循环神经网络中的梯度消失与爆炸问题的解决方法

4.4.6 LSTM

4.4.7 LSTM在减少梯度爆炸和梯度消失问题中的应用

4.4.8在TensorFlow中使用循环神经网络进行MNIST数字识别

4.4.9门控循环单元

4.4.10双向循环神经网络

4.5总结

第5章 用受限玻尔兹曼机和自编码器进行无监督学习

5.1玻尔兹曼分布

5.2贝叶斯推断：似然、先验和后验概率分布

5.3 MCMC采样方法

5.3.1 Metropolis算法

5.4受限玻尔兹曼机

5.4.1训练受限玻尔兹曼机

5.4.2吉布斯采样

5.4.3块吉布斯采样

5.4.4 Burn-in阶段和吉布斯采样中的样本生成

5.4.5基于吉布斯采样的受限玻尔兹曼机

5.4.6对比散度

5.4.7受限玻尔兹曼机的TensorFlow实现

5.4.8基于受限玻尔兹曼机的协同过滤

5.4.9深度置信网络

5.5自编码器

5.5.1基于自编码器的监督式特征学习

5.5.2 KL散度

5.5.3稀疏自编码器

5.5.4稀疏自编码器的TensorFlow实现

5.5.5去噪自编码器

5.5.6去噪自编码器的TensorFlow实现

5.6 PCA和ZCA白化

5.7总结

第6章 高级神经网络

6.1图像分割

6.1.1基于像素强度直方图的二元阈值分割方法

6.1.2大津法

6.1.3用于图像分割的分水岭算法

6.1.4使用K-means聚类进行图像分割

6.1.5语义分割

6.1.6滑动窗口方法

6.1.7全卷积网络

6.1.8全卷积网络的下采样和上采样

6.1.9 U-Net

6.1.10在TensorFlow中使用全卷积神经网络进行语义分割

6.2图像分类和定位网络

6.3物体检测

6.3.1 R-CNN

6.3.2 Fast和Faster R-CNN

6.4生成式对抗网络

6.4.1极大极小和极小极大问题

6.4.2零和博弈

6.4.3极小极大和鞍点

6.4.4生成式对抗网络的损失函数和训练

6.4.5生成器的梯度消弭

6.4.6生成式对抗网络的TensorFlow实现

6.5生成环境下的TensorFlow模型应用

6.6总结