目录

前言

第一章 绪论

§1.1 概述

§1.1.1 神经元

§1.1.2 并行处理

§1.2 神经网络的研究简史

§1.3 神经网络的概念、定义与基本组成

§1.4 神经网络的研究范畴

§1.5 神经网络模型的一些研究方法

第二章 联想记忆的基本原理

§2.1 线性联想映射

§2.1.1 Kohonen模型

§2.1.2 利用最佳秩r-逼近的线性联想记忆

§2.1.3 最小平方联想记忆

§2.2 Hopfield联想记忆模型

§2.2.1 Hopfield模型连接权的确定

§2.2.2 Hopfield模型的存贮容量

§2.2.3 Hopfield联想记忆模型的匹配滤波器实现

§2.3 Hopfield模型中的一些稳定性问题

§2.3.1 稳定性和吸引性的概念

§2.3.2 能量函数

§2.3.3 保证稳定性的几个充分条件

§2.4 Hopfield模型的一些变形与推广

§2.4.1 Hopfield模型的几种变形

§2.4.2 非正交模式

§2.4.3 连续值单元

§2.4.4 模式的时态序列

第三章 联想记忆与模式识别的实用模型

§3.1 引入三态隐单元的Hopfield模型

§3.1.1 能量函数峰值的正交性

§3.1.2 样本存贮过程

§3.1.3 样本恢复过程

§3.2 Kanerva稀疏分布式联想记忆

§3.3 指数响应单元网络（ECAM）

§3.4 分形神经网络（FNN）

§3.4.1 网络结构

§3.4.2 信息的存贮和检索

§3.5 交替投影神经网络（APNN）

§3.6 元胞神经网络（CNN）

§3.7 双向联想记忆（BAM）模型

§3.7.1 BAM的结构

§3.7.2 简单BAM模型的性能分析

§3.7.3 BAM的应用实例

§3.8 BAM模型的改进

§3.8.1 BAM的多重训练算法

§3.8.2 具有指数容量的双向联想记忆

第四章 优化计算的神经网络方法

§4.1 加权匹配问题

§4.2 旅行售货员（TSP）问题

§4.2.1 Hopfield-Tank方法

§4.2.2 Hopfield-Tank方法的一种改进

§4.2.3 求解TSP的弹性网络方法

§4.2.4 N-皇后问题

§4.3 图划分问题

§4.3.1 图二分问题

§4.3.2 图划分问题

§4.4 动态规划（DPP）问题

§4.4.1 最优性原理

§4.4.2 动态规划的人工神经网络

§4.4.3 网络仿真

§4.5 求解优化问题的马尔可夫神经网络

§4.6 求解一般非线性优化问题的广义Hopfield网络

§4.6.1 无约束优化问题

§4.6.2 增广拉格朗日方法

§4.6.3 广义缩减梯度法

§4.6.4 逐次二次规划（SQP）

§4.7 优化计算神经网络的应用实例

§4.7.1 基于优化计算神经网络的模／数（A/D）转换器

§4.7.2 图象处理中的优化问题

第五章 感知器与Madaline的基本原理

§5.1 基本概念

§5.1.1 自适应线性组合器

§5.1.2 线性分类器——单阈值元件

§5.1.3 线性可分性

§5.1.4 非线性分类器

§5.2 误差校正规则

§5.2.1 线性规则

§5.2.2 非线性规则

§5.2.3 感知器学习规则的几何解释

§5.2.4 感知器学习规则的收敛性证明

§5.2.5 Madaline网络的误差校正规则

§5.3 线性单元与非线性单元

§5.3.1 线性单元

§5.3.2 非线性单元

§5.3.3 随机单元

§5.4 简单感知器的容量

§5.5 Madaline网络中的最陡下降学习

第六章 反向传播学习算法及其应用

§6.1 反向传播算法

§6.2 反向传播算法的修正与推广

§6.3 多层前传网络的性能

§6.3.1 多层前传网络的泛函能力与隐单元的必要个数

§6.3.2 输入表示问题

§6.3.3 推广（generalization）

§6.3.4 学习的复杂性问题

§6.4 关于推广的理论框架

§6.4.1 平均推广能力

§6.4.2 对差的推广概率的定界

§6.5 网络结构的优化

§6.5.1 修剪与权的衰减

§6.5.2 网络构造算法

§6.6 例子与应用

第七章 径向基函数网络

§7.1 径向基函数网络的基本原理

§7.1.1 用于插值的径向基函数

§7.1.2 用于模式识别的径向基函数

§7.1.3 RBF网络

§7.2 径向基函数网络的k-均值聚类算法

§7.3 径向基函数网络的正交最小平方学习算法

§7.3.1 RBF网络基函数中心选取的OLS方法

§7.3.2 RBF网络在通信信道均衡中的应用

§7.4 径向基函数插值的资源分配网络

§7.5 高斯条（Gaussian bar）函数网络

§7.6 径向基函数网络的推广

§7.6.1 关于RBF网络推广能力的讨论

§7.6.2 预测网络推广性质的基本方法

§7.6.3 改善RBF网络推广性质的一种方法

§7.7 与径向基函数类似的其它一些模式分类方法

§7.7.1 修正的Kanerva模型

§7.7.2 位函数法

§7.7.3 核判别式分析

§7.7.4 球面分级神经元网络

§7.7.5 概率神经网络

§7.8 径向基函数插值的正则化理论与正则化网络

§7.8.1 正则化理论的基本概念

§7.8.2 正则化网络

§7.8.3 正则化方法的推广——超基函数网络

§7.9 其他模式分类器简介

第八章 递归神经网络

§8.1 递归网络与递归反向传播

§8.1.1 递归网络的基本结构

§8.1.2 连续时间递归网络的递归反向传播算法

§8.1.3 连续时间递归网络的时变递归反向传播算法

§8.2 学习时间序列

§8.2.1 时延神经网络（TD）NN）

§8.2.2 部分递归网络

§8.2.3 随时间演化的反向传播（BPTT）

§8.3 递归网络的几种实时学习算法

§8.3.1 实时递归学习（RTRL）

§8.3.2 随时间演化反向传播的实时算法

§8.3.3 训练递归网络的广义卡尔曼滤波算法

§8.4 玻尔兹曼机

§8.4.1 随机单元

§8.4.2 Boltzmann机的一些推广

§8.4.3 确定性Boltzmann机

§8.5.1 所有概率分布的流形

§8.5 玻尔兹曼机的信息几何理论简介

§8.5.2 无隐单元的Boltzmann机

§8.6 强化学习

§8.6.1 联想赏-罚的基本概念

§8.6.2 联想赏-罚理论

§8.6.3 建模网络与评判网络

第九章 无监督Hebb学习

§9.1 概述

§9.1.1 有监督学习和无监督学习的区别

§9.1.2 无监督学习的意义

§9.2 无监督Hebb学习的基本原理

§9.2.1 关于线性神经元的一些结论

§9.2.2 无监督Hebb学习的Oja规则

§9.2.3 Oja规则的理论分析

§9.3 主分量分析（PCA）学习算法

§9.3.1 PCA的基本原理

§9.3.2 主分量分析的单层前传网络

§9.3.3 PCA学习的其它网络结构

§9.4 PCA学习的推广

§9.4.1 自适应主分量抽取算法

§9.4.2 次分量抽取与最优拟合

§9.4.3 其它与PCA有关的问题

§9.5 模式识别的子空间学习算法简介

§9.5.1 子空间模式识别原理

§9.5.2 双子空间模式识别

§9.6 自组织特征抽取

§9.6.1 自组织多层感知器

§9.6.2 仿真结果

§9.6.3 最大信息传输问题

第十章 无监督竞争学习

§10.1 简单的竞争学习

§10.1.1 赢者取全（WTA）的基本原理

§10.1.2 价值函数与收敛性

§10.2 竞争学习的例子与应用

§10.3 自适应共振理论

§10.3.1 稳定性-可塑性二难问题与ART的提出

§10.3.2 ART的基本原理

§10.3.3 ART用作分类器时的算法

§10.3.4 ART的一种简单网络实现

§10.4 特征映射的理论和应用

§10.4.1 概述

§10.4.2 特征映射的基本原理

§10.4.3 特征映射的理论分析

§10.5 认知机与新认知机

§10.5.1 增广Hebb规则

§10.5.2 认知机（The Cognition）

§10.5.3 新认知机（Neocognition）

§10.6 混合学习方案——后向传播网络