第1章 概论 1
1.1神经网络简介 1
1.2神经网络研究内容 2
1.3本书内容 2
1.4参考资料简介 3
第2章 基本的神经元及其学习规则 5
2.1神经元模型 5
2.1.1大脑神经细胞 5
2.1.2 MP模型 7
2.1.3一般神经元模型 8
2.2神经元学习算法 11
2.2.1Hebb学习规则 12
2.2.2离散感知器学习规则 12
2.2.3 δ学习规则 13
2.2.4 Widrow-Hoff学习规则 14
2.3单个神经元解决问题的能力 15
2.3.1单个神经元的分类能力 15
2.3.2多个神经元的分类能力 15
2.4.1前向神经网络 16
2.4神经网络的拓扑结构 16
2.4.2反馈神经网络 18
第3章 多层感知器网络 19
3.1两层感知器网络 19
3.1.1单神经元用于两分类 19
3.1.2多输出两层感知器用于多分类 23
3.2线性阈值单元组成的多层感知器 24
3.3 BP网及BP算法 25
3.3.1 BP网络结构 25
3.3.2 BP学习算法 26
3.3.3 BP算法应用例子 30
3.3.4 BP网和BP算法应用要点 33
3.3.5 BP算法的改进 36
第4章 径向基函数神经网络 40
4.1 RBF网结构和工作原理 40
4.2 RBF网的生理学基础 42
4.3 RBF网的数学基础 43
4.3.1 内插问题 43
4.3.2正则化网络 44
4.4 RBF网常用的学习算法 45
4.4.1聚类方法 46
4.4.2梯度训练方法 47
4.4.3正交最小二乘（OLS）学习算法 48
4.5 RBF网的学习动态 49
4.5.1定义 50
4.5.2主要结论 52
4.5.3算例 58
4.5.4 RBF网的学习动态与RBF网设计 62
4.6仿真例子 64
4.7 RBF网的特点及其他问题 65
第5章 Hopfield网络 67
5.1连续Hopfield网络 67
5.1.1连续Hopfield网络原理 67
5.1.2Hopfield网络的稳定性 68
5.2离散Hopfield网络 71
5.2.1离散Hopfield网络原理 71
5.2.2离散Hopfield网络的稳定性 72
5.3.2离散Hopfield网络与联想存储 73
5.3 Hopfield网络应用 73
5.3.1连续Hopfield网络与优化计算 73
5.4应用和仿真实例 75
5.4.1连续Hopfield网络应用实例：TSP问题 75
5.4.2离散Hopfield网络仿真：字符存储 77
第6章 自组织特征映射 80
6.1 生物系统中的竞争 80
6.2 SOFM结构 81
6.3 SOFM的学习算法 82
6.4仿真例子 84
第7章 神经网络的泛化理论 88
7.1 神经网络的泛化理论简介 88
7.2泛化误差的偏差－标准差分解 89
7.3结构复杂性和样本复杂性对神经网络泛化能力的影响 90
7.3.1线性阈值神经网络 90
7.3.2函数逼近神经网络 91
7.4 正则化方法对泛化能力的影响 92
7.5神经网络集成对泛化能力的影响 94
7.6样本输入中加噪声对泛化能力的影响 96
7.7其他因素对泛化能力的影响 97
第8章 神经网络的参数优化设计 100
8.1 主动学习 100
8.1.1 原理 100
8.1.2仿真例子：三角形概念学习 101
8.2在样本输入中添加随机噪声 103
8.2.1噪声添加方法 103
8.2.2仿真例子 103
8.3.1原理 105
8.3神经网络集成 105
8.3.2仿真例子：广义异或问题 106
8.4基于先验知识的泛化方法 107
8.5最优停止法 107
8.5.1 原理 107
8.5.2仿真例子：Hermit多项式逼近 108
第9章 神经网络构造方法 110
9.1神经网络构造方法简介 110
9.2级连相关算法 111
9.2.1 BP算法收敛速度慢的原因 111
9.2.2网络结构 112
9.2.3权值学习算法 114
9.2.4算法实现 115
9.2.5算法讨论 115
9.2.6仿真结果：双螺旋分类问题 115
9.3资源分配网络 119
9.3.1 RAN网络结构 119
9.3.2学习算法 120
9.3.3算法实现 121
9.3.5仿真：Hermit多项式在线学习 122
9.3.4 RAN的优点与缺点 122
第10章 神经网络剪枝方法 125
10.1权衰减法 125
10.1.1权消去法剪枝原理 125
10.1.2正则化系数λ的动态修改策略 129
10.1.3试验例子：非线性系统辨识 129
10.2灵敏度计算方法 131
10.2.1 Skeletonization方法原理 131
10.2.2仿真例子：非线性系统结构辨识 134
10.3.1 隐节点之间相关情况分析 136
10.3相关性剪枝方法 136
10.3.2隐节点合成方法 138
10.3.3仿真例子 140
第11章 进化神经网络方法 142
11.1进化神经网络简介 142
11.2进化优选算法 142
11.2.1 OLS算法设计RBF网的缺点 142
11.2.2进化优选算法的数学基础 143
11.2.3进化优选算法（ESA算法） 146
11.2.4算法的效率分析 148
11.2.5 ESA算法实现 149
11.2.6仿真例子 150
第12章 混杂神经网络设计 153
12.1资源优化网络 153
12.1.1 资源优化网络简介 153
12.1.2 RON在线RBF网设计方法 154
12.1.3仿真研究 159
12.1.4 RON的优缺点 163
12.2.2神经网络的结构分解原理 164
12.2.1 神经网络的结构分解方法简介 164
12.2神经网络的结构分解方法 164
12.2.3 基于结构分解的神经网络设计方法 167
12.2.4 应用例子 169
附录A：用于三分类的BP算法程序 175
附录B：用于函数逼近的BP算法程序 180
附录C：基于聚类的RBF网设计算法 183
附录D：基于梯度法的RBF网设计算法 186
附录E：基于OLS的RBF网设计算法 188
附录F：连续Hopfield网络解决TSP的程序 191
附录G：样本输入加噪声训练程序 194
附录H：神经网络集成训练程序 198
附录I：最优停止法训练程序 200
附录J：级连相关算法 204
附录K：资源分配网络算法 209
附录L：权消去法 213
附录M：Skeletonization方法 217
附录N：隐节点合成算法 222
参考文献 229