人工神经网络与模拟进化计算PDF电子书下载

第1章 绪论 1

1.1 神经网络的发展与应用 1

1.2 人工神经元模型 2

1.3 用有向图表示神经网络 4

1.4 网络结构及工作方式 5

1.5 NN的学习 6

1.5.1 学习方式 6

1.5.2 学习算法 6

1.5.3 学习与自适应 7

习题 8

参考文献 8

第2章 前馈网络 10

2.1 线性阈值单元 10

2.1.1 用线性阈值单元实现布尔函数 10

2.1.2 线性可分性 11

2.1.3 n维欧氏空间中m个点上可实现的线性可分函数的个数 11

2.2 多层前馈网络的计算能力及函数逼近 12

2.3 感知器学习算法 15

2.4 反向传播学习算法 17

2.5 改进反向传播算法收敛速度的措施 23

2.5.1 加入动量项 23

2.5.2 高阶导数的利用 24

2.5.3 共轭梯度法 24

2.5.4 递推最小二乘法 24

2.5.5 神经元空间搜索法 25

2.5.6 一些其他措施 26

2.6 多层前馈网络作用的分析 27

2.6.1 线性网络 28

2.6.2 非线性情况 31

2.7 应用举例--手写体数字识别 32

习题 35

参考文献 37

第3章 径向基函数网络 40

3.1 φ可分性 40

3.2 函数逼近与内插 40

3.3 正规化理论 41

3.4 RBF网络的学习 46

3.5 RBF网络的一些变形 48

3.6 CMAC网络 49

3.6.1 模型结构 49

3.6.2 工作原理分析 51

3.6.3 学习算法 53

3.7 概率神经网络 54

3.8 小波网络 55

3.9 泛函连接网络 56

参考文献 57

第4章 学习理论与网络结构选择 60

4.1 学习的统计性能 61

4.1.1 经验风险最小化原则 62

4.1.2 VC维数 64

4.1.3 一致收敛的速度 65

4.1.4 结构风险最小化 66

4.2 学习的复杂性问题 67

4.2.1 PAC学习的模型 67

4.2.2 PAC学习的例子 68

4.2.3 PAC学习模型的一些扩展 69

4.2.4 多层前馈网络的样本数问题 69

4.2.5 学习的计算复杂性 70

4.3 学习的动态特性 71

4.3.1 通用学习方程 71

4.3.2 LMS规则 72

4.3.3 Hcbb规则 72

4.3.4 Oja学习规则 73

4.4 推广问题 73

4.4.1 定性分析 73

4.4.2 平均推广能力 75

4.4.3 从数学上研究一般的推广问题 76

4.4.4 样本量问题 77

4.4.5 推广误差的实验估计 78

4.5 预测学习 79

4.5.1 模型 79

4.5.2 根本困难 79

4.5.3 维数灾难问题 80

4.5.4 方差与偏置折衷 80

4.6 网络模型选择 81

4.6.1 定性分析 81

4.6.2 正规化方法 82

4.6.3 修剪与网络构造法 83

4.7 符号学习与神经网络结合 86

4.8 支承向量机 89

4.9 新一代神经元模型及其计算能力的研究 93

4.9.1 布尔函数的计算 94

4.9.2 连续输入的情况 95

4.9.3 脉冲耦合神经元 95

习题 95

参考文献 96

第5章 反馈网络与联想存储器 101

5.1 联想存储器 101

5.2 反馈网络 102

5.2.1 离散Hopfield网络 103

5.2.2 连续Hopficld网络 106

5.3 用反馈网络作联想存储器 107

5.4 相关学习算法 109

5.5 容量分析 112

5.6 伪逆学习算法 115

5.7 基于线性可分性的学习算法 116

5.8 Li与Michcl的设计方法 117

5.9 线性规划方法 118

5.10 多余吸引子问题 119

5.11 双向联想存储器 120

5.12 玻耳兹曼机 122

5.12.1 随机神经元 122

5.12.2 模拟退火算法 123

5.12.3 玻耳兹曼机 123

5.12.4 玻耳兹曼机的学习 124

5.12.5 平均场学习规则 128

习题 129

参考文献 130

第6章 神经网络用于优化计算 133

6.1 概述 133

6.2 连续Hopfield网络用于求解优化总量 135

6.3 CHNN用于优化计算时存在的问题 137

6.4 神经网络用于求解货流问题 139

6.5 用于解数学规划的电路举例 142

6.6 在通信网络中的应用举例 144

习题 145

参考文献 146

第7章 自组织系统(Ⅰ)--Hebb学习 148

7.1 引言 148

7.2 自组织特征检测--一个简单的实验 148

7.3 主成分分析 149

7.4 单个神经元抽取最大主分量 152

7.5 单层网络用于抽取一组主分量 152

7.6 有侧向连接的自适应PCA 154

7.7 最小均方误差重建学习 156

7.8 次分量的提取和应用 157

7.8.1 最优拟合问题 157

7.8.2 用单个神经元实现 159

7.9 PCA算法的进一步扩展 161

7.9.1 非线性PCA 161

7.9.2 鲁棒PCA算法 162

7.10 用于特征抽取的网络 162

7.10.1 正态分布的数据 162

7.10.2 类内、类间距离的计算 163

7.10.3 Bhattacharya距离 165

7.11 独立成分分析 165

7.11.1 IC与盲源分离 166

7.11.2 高阶累积量 166

7.11.3 基于信息的判据 168

参考文献 169

第8章 自组织系统(Ⅱ)--竞争学习 172

8.1 Hamming网络与WTA网络 172

8.2 自组织特征映射 174

8.3 等效的SOFM算法 176

8.4 向量量化 179

8.5 广义向量量化 180

8.6 讨论 182

8.7 应用举例--指纹识别 183

8.8 自适应共振理论 185

8.8.1 ART的基本原理 186

8.8.2 ART作为分类器时的学习算法 188

习题 189

参考文献 190

第9章 自组织系统(Ⅲ)--基于信息论的模型 192

9.1 信息论简介 192

9.2 最大信息保持原则 194

9.2.1 单个神经元受噪声干扰 194

9.2.2 输入受加性噪声干扰 195

9.2.3 更复杂些的情况 195

9.3 拓扑有序映射的产生 197

9.4 基于最大熵原则的拓扑映射 199

参考文献 200

第10章 动态信号与系统的处理 202

10.1 延时单元网络 202

10.2 时空神经元模型 205

10.2.1 模型 205

10.2.2 FLR网络的学习算法 206

10.3 部分反馈网络 210

10.4 有反馈网络的学习算法 213

10.4.1 随时间演化的反向传播算法 213

10.4.2 实时递归学习 213

10.5 应用举例 216

10.6 讨论 227

10.7 再励学习的主要算法 228

10.7.1 时间差分法 229

10.7.2 RL的主要算法 230

10.8 再励学习在控制中的应用举例 233

习题 240

参考文献 240

第11章 神经网络中的动力学问题 244

11.1 运动稳定性的基本知识 244

11.1.1 运动微分方程 244

11.1.2 平衡状态及其稳定性 245

11.1.3 定性方法，系统的分类 246

11.1.4 Liapunov定理 249

11.1.5 吸引子 250

11.2 反馈网络的基本模型及其稳定性 251

11.2.1 基本模型 251

11.2.2 稳定性分析 253

11.2.3 离散模型 254

11.2.4 离散时间连续状态模型 255

11.3 递归反传算法 257

11.4 混沌神经网络的初步介绍 261

11.4.1 一个简单的非线性映射 261

11.4.2 混沌神经元模型 263

11.4.3 用混沌神经网络作联想记忆 265

参考文献 266

第12章 模块化神经网络 268

12.1 引言 268

12.2 混合专家网络 269

12.3 分层混合专家网络 270

12.3.1 工作原理 270

12.3.2 EM算法概述 273

12.3.3 EM算法用于HME 273

12.3.4 IRLS算法 274

12.3.5 EM算法的步骤 276

12.4 应用举例 277

参考文献 280

第13章 误差函数与参数优化方法 282

13.1 误差平方和 282

13.1.1 网络输出的含义 283

13.1.2 更一般的条件分布的建模 284

13.2 后验概率估计 286

13.2.1 误差平方和准则 287

13.2.2 隐单元的作用 287

13.2.3 R范数误差 288

13.3 交叉熵 288

13.3.1 两类分类器 289

13.3.2 交叉熵的性质 289

13.3.3 多类情况 290

13.4 参数优化算法 291

13.4.1 误差曲面 292

13.4.2 对E的局部二次逼近 292

13.4.3 优化过程的一些实际问题 293

13.5 梯度下降法 294

13.5.1 收敛性的定性分析 294

13.5.2 加速收敛的措施 295

13.6 共轭梯度法 297

13.7 牛顿法及其变形 300

13.8 Levenberg-Marquart算法 301

13.9 信息几何与自然梯度 302

参考文献 302

第14章 贝叶斯方法 303

14.1 网络权值的贝叶斯学习 304

14.1.1 权值的分布 304

14.1.2 一类更广的分布 306

14.1.3 网络输出的分布 307

14.1.4 超参数的处理 308

14.2 贝叶斯模型选择 309

14.2.1 模型显著度 310

14.2.2 网络组 311

14.2.3 贝叶斯方法的实现 312

14.2.4 最小描述长度 312

14.3 贝叶斯阴阳系统理论简介 313

参考文献 314

第15章 神经网络在信号处理中的应用 315

15.1 引言 315

15.2 用泛函对物理系统建模 315

15.2.1 算子与泛函 315

15.2.2 Volterra级数 316

15.3 Volterra级数与多层前馈网络 317

15.4 非线性ARMA模型与MFNN 319

15.5 状态空间表示与神经网络 322

15.6 神经网络与马尔可夫模型 322

15.7 特征空间分解与神经网络 324

15.7.1 信息判据用于主子空间分析 324

15.7.2 非线性主元分析 326

15.8 EM算法用于训练部分反馈网络 329

15.9 混沌时间序列的预测和混沌中信号的检测 332

15.9.1 混沌时间序列的预测 332

15.9.2 混沌中信号的检测--海洋杂乱回波中雷达信号的检测 335

15.10 神经网络用于信息的压缩和编码 337

15.11 神经网络用于盲信号处理 342

15.12 小波网络与多分辨率学习 344

15.12.1 引言 344

15.12.2 小波基函数与函数的多分辨率分析 345

15.12.3 多分辨率学习与小波网络 347

15.12.4 多尺度网络用于时间序列预测 352

参考文献 353

第16章 进化计算概论与进化策略 357

16.1 进化计算概论 357

16.2 二元进化策略 359

16.2.1 基本算法 359

16.2.2 变异过程 360

16.2.3 步长选择 362

16.2.4 收敛准则 364

16.2.5 对于约束条件的处理 364

16.3 多元进化策略 365

16.3.1 基本算法 365

16.3.2 (1，λ)前进速度分析 367

16.3.3 步长控制 371

16.3.4 μ≥1时的收敛准则 374

16.3.5 串行与并行 374

参考文献 376

第17章 遗传算法及其理论分析 377

17.1 标准遗传算法和基本概念 377

17.2 模式定理 380

17.3 基因块假设 383

17.4 欺骗性问题 386

17.5 收敛性分析 389

17.5.1 基本概念 390

17.5.2 守恒交叉算子 391

17.5.3 完全变异算子 392

17.5.4 遗传算法的马尔可夫链分析 393

参考文献 395

第18章 遗传算法的设计与实现 396

18.1 编码方法 396

18.1.1 编码原则 396

18.1.2 编码方法 398

18.2 适应度函数 402

18.2.1 目标函数映射成适应度函数 402

18.2.2 适应度函数调整 402

18.2.3 适应度函数的设计对遗传算法的影响 404

18.3 遗传算子 404

18.3.1 选择算子 405

18.3.2 交叉算子 407

18.3.3 变异算子 408

18.4 其他问题 409

18.4.1 参数选择 409

18.4.2 其他操作 411

参考文献 415

第19章 遗传算法在神经网络中的应用 416

19.1 连接权的进化方法 416

19.2 网络结构的进化方法 417

19.3 用遗传算法解决XOR问题示例 419

参考文献 421

第20章 遗传算法在作业调度中的应用 422

20.1 问题描述 422

20.2 解作业调度问题的遗传算法 423

20.3 仿真结果 427

参考文献 430

索引 431