神经网络结构设计的理论与方法PDF电子书下载

第1章 概论 1

1.1神经网络简介 1

1.2神经网络研究内容 2

1.3本书内容 2

1.4参考资料简介 3

第2章 基本的神经元及其学习规则 5

2.1神经元模型 5

2.1.1大脑神经细胞 5

2.1.2 MP模型 7

2.1.3一般神经元模型 8

2.2神经元学习算法 11

2.2.1Hebb学习规则 12

2.2.2离散感知器学习规则 12

2.2.3 δ学习规则 13

2.2.4 Widrow-Hoff学习规则 14

2.3单个神经元解决问题的能力 15

2.3.1单个神经元的分类能力 15

2.3.2多个神经元的分类能力 15

2.4.1前向神经网络 16

2.4神经网络的拓扑结构 16

2.4.2反馈神经网络 18

第3章 多层感知器网络 19

3.1两层感知器网络 19

3.1.1单神经元用于两分类 19

3.1.2多输出两层感知器用于多分类 23

3.2线性阈值单元组成的多层感知器 24

3.3 BP网及BP算法 25

3.3.1 BP网络结构 25

3.3.2 BP学习算法 26

3.3.3 BP算法应用例子 30

3.3.4 BP网和BP算法应用要点 33

3.3.5 BP算法的改进 36

第4章 径向基函数神经网络 40

4.1 RBF网结构和工作原理 40

4.2 RBF网的生理学基础 42

4.3 RBF网的数学基础 43

4.3.1 内插问题 43

4.3.2正则化网络 44

4.4 RBF网常用的学习算法 45

4.4.1聚类方法 46

4.4.2梯度训练方法 47

4.4.3正交最小二乘（OLS）学习算法 48

4.5 RBF网的学习动态 49

4.5.1定义 50

4.5.2主要结论 52

4.5.3算例 58

4.5.4 RBF网的学习动态与RBF网设计 62

4.6仿真例子 64

4.7 RBF网的特点及其他问题 65

第5章 Hopfield网络 67

5.1连续Hopfield网络 67

5.1.1连续Hopfield网络原理 67

5.1.2Hopfield网络的稳定性 68

5.2离散Hopfield网络 71

5.2.1离散Hopfield网络原理 71

5.2.2离散Hopfield网络的稳定性 72

5.3.2离散Hopfield网络与联想存储 73

5.3 Hopfield网络应用 73

5.3.1连续Hopfield网络与优化计算 73

5.4应用和仿真实例 75

5.4.1连续Hopfield网络应用实例：TSP问题 75

5.4.2离散Hopfield网络仿真：字符存储 77

第6章 自组织特征映射 80

6.1 生物系统中的竞争 80

6.2 SOFM结构 81

6.3 SOFM的学习算法 82

6.4仿真例子 84

第7章 神经网络的泛化理论 88

7.1 神经网络的泛化理论简介 88

7.2泛化误差的偏差－标准差分解 89

7.3结构复杂性和样本复杂性对神经网络泛化能力的影响 90

7.3.1线性阈值神经网络 90

7.3.2函数逼近神经网络 91

7.4 正则化方法对泛化能力的影响 92

7.5神经网络集成对泛化能力的影响 94

7.6样本输入中加噪声对泛化能力的影响 96

7.7其他因素对泛化能力的影响 97

第8章 神经网络的参数优化设计 100

8.1 主动学习 100

8.1.1 原理 100

8.1.2仿真例子：三角形概念学习 101

8.2在样本输入中添加随机噪声 103

8.2.1噪声添加方法 103

8.2.2仿真例子 103

8.3.1原理 105

8.3神经网络集成 105

8.3.2仿真例子：广义异或问题 106

8.4基于先验知识的泛化方法 107

8.5最优停止法 107

8.5.1 原理 107

8.5.2仿真例子：Hermit多项式逼近 108

第9章 神经网络构造方法 110

9.1神经网络构造方法简介 110

9.2级连相关算法 111

9.2.1 BP算法收敛速度慢的原因 111

9.2.2网络结构 112

9.2.3权值学习算法 114

9.2.4算法实现 115

9.2.5算法讨论 115

9.2.6仿真结果：双螺旋分类问题 115

9.3资源分配网络 119

9.3.1 RAN网络结构 119

9.3.2学习算法 120

9.3.3算法实现 121

9.3.5仿真：Hermit多项式在线学习 122

9.3.4 RAN的优点与缺点 122

第10章 神经网络剪枝方法 125

10.1权衰减法 125

10.1.1权消去法剪枝原理 125

10.1.2正则化系数λ的动态修改策略 129

10.1.3试验例子：非线性系统辨识 129

10.2灵敏度计算方法 131

10.2.1 Skeletonization方法原理 131

10.2.2仿真例子：非线性系统结构辨识 134

10.3.1 隐节点之间相关情况分析 136

10.3相关性剪枝方法 136

10.3.2隐节点合成方法 138

10.3.3仿真例子 140

第11章 进化神经网络方法 142

11.1进化神经网络简介 142

11.2进化优选算法 142

11.2.1 OLS算法设计RBF网的缺点 142

11.2.2进化优选算法的数学基础 143

11.2.3进化优选算法（ESA算法） 146

11.2.4算法的效率分析 148

11.2.5 ESA算法实现 149

11.2.6仿真例子 150

第12章 混杂神经网络设计 153

12.1资源优化网络 153

12.1.1 资源优化网络简介 153

12.1.2 RON在线RBF网设计方法 154

12.1.3仿真研究 159

12.1.4 RON的优缺点 163

12.2.2神经网络的结构分解原理 164

12.2.1 神经网络的结构分解方法简介 164

12.2神经网络的结构分解方法 164

12.2.3 基于结构分解的神经网络设计方法 167

12.2.4 应用例子 169

附录A：用于三分类的BP算法程序 175

附录B：用于函数逼近的BP算法程序 180

附录C：基于聚类的RBF网设计算法 183

附录D：基于梯度法的RBF网设计算法 186

附录E：基于OLS的RBF网设计算法 188

附录F：连续Hopfield网络解决TSP的程序 191

附录G：样本输入加噪声训练程序 194

附录H：神经网络集成训练程序 198

附录I：最优停止法训练程序 200

附录J：级连相关算法 204

附录K：资源分配网络算法 209

附录L：权消去法 213

附录M：Skeletonization方法 217

附录N：隐节点合成算法 222

参考文献 229