目录 1
第1章 绪论 1
1.1 神经网络的发展与应用 1
1.2 人工神经元模型 2
1.3 用有向图表示神经网络 4
1.4 网络结构及工作方式 5
1.5 NN的学习 7
1.5.1 学习方式 7
1.5.2 学习算法 7
1.5.3 学习与自适应 9
习题 9
参考文献 10
第2章 前馈网络 11
2.1 线性阈值单元 11
2.1.1 用线性阈值单元实现布尔函数 11
2.1.2 线性可分性 12
2.1.3 n维欧氏空间中m个点上可实现的线性可分函数的个数 13
2.2 多层前馈网络的计算能力及函数逼近 15
2.3 感知器的学习算法 17
2.4 反向传播学习算法 19
2.5 改进反向传播算法收敛速度的措施 26
2.5.1 加入动量项 26
2.5.3 共轭梯度法 27
2.5.2 高阶导数的利用 27
2.5.4 递推最小二乘法 28
2.5.5 神经元空间搜索法 28
2.5.6 一些其他措施 30
2.6 多层前馈网络作用的分析 31
2.6.1 线性网络 32
2.6.2 非线性情况 33
2.7 应用举例 34
习题 45
参考文献 48
3.1 ？可分性 51
第3章 径向基函数网络 51
3.2 函数逼近与内插 52
3.3 正规化理论 53
3.4 RBF网络的学习 60
3.5 RBF网络的一些变形 63
3.6 CMAC网络 64
3.6.1 模型结构 64
3.6.2 工作原理分析 66
3.6.3 学习算法 69
3.7 概率神经网络 70
3.8 小波网络 71
3.9 泛函连接网络 72
3.10 新一代神经元模型及其计算能力的研究 74
3.10.1 布尔函数的计算 75
3.10.2 连续输入的情况 75
3.10.3 脉冲耦合神经网络 76
参考文献 81
第4章 学习理论与网络结构选择 86
4.1 经验风险最小化与推广能力 88
4.1.1 经验风险最小化原则 89
4.1.2 推广能力、模型复杂度和样本量 90
4.2 统计学习理论简介 92
4.2.1 学习过程一致性的条件 93
4.2.2 统计学习理论发展中的三个重要结论 96
4.2.3 推广能力的界 97
4.2.4 结构风险最小化 102
4.3 学习的复杂性问题 105
4.3.1 PAC学习模型 105
4.3.2 PAC学习的例子 106
4.3.3 PAC学习模型的一些扩展 106
4.3.4 多层前馈网络的样本数问题 107
4.3.5 学习的计算复杂性 108
4.4 学习的动态特性 109
4.4.1 通用学习方程 109
4.4.2 LMS规则 110
4.4.3 Hebb规则 111
4.4.4 Oja学习规则 111
4.5 推广问题 112
4.5.1 定性分析 112
4.5.2 平均推广能力 113
4.5.3 样本量问题 115
4.5.4 推广误差的实验估计 116
4.6 预测学习 117
4.6.1 模型 117
4.6.4 方差与偏置折衷 118
4.6.3 维数灾难问题 118
4.6.2 根本困难 118
4.7 学习的数学基础 120
4.8 网络模型选择 122
4.8.1 定性分析 122
4.8.2 正规化方法 123
4.8.3 修剪与网络构造法 124
4.9 符号学习与神经网络结合 131
习题 133
参考文献 134
第5章 核方法与支持向量机 140
5.1 现有方法概述 141
5.1.1 基函数法 142
5.1.2 核函数 143
5.2 基函数法与核函数法的对偶关系 144
5.3 自适应方法 147
5.4 核函数法 147
5.5 表示定理 151
5.6 最优线性分界面 152
5.7 支持向量机（SVM） 155
5.7.1 基本原理 155
5.7.2 SVM用于多类（C类）问题 161
5.7.3 SVM用于回归 161
5.8 核PCA 163
5.9 SVM的算法 165
5.10 贝叶斯方法与高斯过程 171
5.10.1 贝叶斯方法 171
5.10.2 高斯过程 173
5.10.3 稀疏表示 175
5.11 讨论 177
参考文献 181
第6章 自组织系统（Ⅰ）——Hebb学习 184
6.1 引言 184
6.2 自组织特征检测——一个简单的实验 185
6.3 主成分分析 186
6.5 单层网络用于抽取一组主分量 189
6.4 单个神经元抽取最大主分量 189
6.6 有侧向连接的自适应PCA 191
6.7 最小均方误差重建学习 193
6.8 次分量的提取和应用 195
6.8.1 最优拟合问题 195
6.8.2 用单个神经元实现 197
6.9 PCA算法的进一步扩展 200
6.9.1 非线性PCA 200
6.9.2 主曲线与主曲面 200
6.9.3 鲁棒PCA算法 202
6.9.4 偏最小二乘方法 202
6.10 用于特征抽取的网络 203
6.10.1 正态分布的数据 204
6.10.2 类内、类间距离的计算 205
6.10.3 Bhattacharya距离 206
参考文献 207
第7章 自组织系统（Ⅱ）——竞争学习 210
7.1 Hamming网络与WTA网络 210
7.2 自组织特征映射 212
7.3 等效的SOM算法 215
7.4 向量量化 220
7.5 广义向量量化 221
7.6 讨论 223
7.7 应用举例 225
7.8 自适应共振理论 235
7.8.1 ART的基本原理 236
7.8.2 ART作为分类器时的学习算法 239
习题 240
参考文献 241
第8章 自组织系统（Ⅲ）——基于信息论的模型 245
8.1 信息论简介 245
8.2 最大信息保持原则 247
8.2.1 单个神经元受噪声干扰 247
8.2.2 输入受加性噪声干扰 248
8.2.3 更复杂些的情况 249
8.3 拓扑有序映射的产生 251
8.4 基于最大熵原则的拓扑映射 253
8.5 盲信号处理 255
8.5.1 一些基本概念 257
8.5.2 ICA的目标函数 261
8.5.3 盲信号处理的应用 267
8.5.4 非线性独立成分分析（NLICA） 270
参考文献 273
第9章 动态信号与系统的处理 276
9.1 延时单元网络 276
9.2.1 模型 280
9.2 时空神经元模型 280
9.2.2 FIR网络的学习算法 282
9.3 部分反馈网络 286
9.4 有反馈网络的学习算法 289
9.4.1 随时间演化的反向传播算法 289
9.4.2 实时递归学习 290
9.5 应用举例 293
9.6 神经网络在金融领域中的应用 304
9.7 讨论 310
9.8 再励学习及其主要算法 314
9.8.1 时间差分法 315
9.8.2 RL的主要算法 317
9.9 再励学习在控制中的应用举例 319
习题 327
参考文献 328
第10章 多神经网络集成 335
10.1 引言 335
10.2 群体平均法 336
10.3 Boosting方法 337
10.3.1 Boosting算法 338
10.3.2 性能分析 339
10.3.3 应用实例——由基因表达谱对肿瘤分类 340
10.4 混合专家网络 342
10.5 分层混合专家网络 344
10.5.1 工作原理 345
10.5.2 EM算法概述 347
10.5.3 EM算法用于HME 349
10.5.4 IRLS算法 350
10.5.5 EM算法的步骤 352
10.6 应用举例 353
参考文献 357
第11章 反馈网络与联想存储器 360
11.1 联想存储器 360
11.2 反馈网络 361
11.2.1 离散Hopfield网络 362
11.2.2 连续Hopfield网络 366
11.3 用反馈网络作联想存储器 368
11.4 相关学习算法 369
11.5 容量分析 373
11.6 伪逆学习算法 377
11.7 基于线性可分性的学习算法 378
11.8 Li与Michel的设计方法（特征结构法） 379
11.9 线性规划方法 379
11.10 多余吸引子问题 381
11.11 双向联想存储器（BAM） 382
11.11.2 BAM网络的权值设计 384
11.11.1 能量函数与稳定性 384
11.12 玻耳兹曼机 386
11.12.1 随机神经元 386
11.12.2 模拟退火算法 387
11.12.3 玻耳兹曼机 387
11.12.4 玻耳兹曼机的学习 388
11.12.5 平均场学习规则 392
习题 394
参考文献 395
第12章 神经网络用于优化计算 398
12.1 概述 398
12.2 连续Hopfield网络用于求解优化问题 401
12.3 CHNN用于优化计算时存在的问题 403
12.4 神经网络用于求解货流问题 405
12.5 用于解数学规划的电路举例 409
12.6 在通信网络中的应用举例 411
习题 412
参考文献 413
第13章 神经网络中的动力学问题 415
13.1 运动稳定性的基本知识 415
13.1.1 运动微分方程 415
13.1.2 平衡状态及其稳定性 416
13.1.3 定性方法与系统的分类 418
13.1.4 Lyapunov定理 421
13.1.5 吸引子 422
13.2 反馈网络的基本模型及其稳定性 424
13.2.1 基本模型 424
13.2.2 稳定性分析 425
13.2.3 离散模型 427
13.2.4 离散时间连续状态模型 427
13.3 混沌神经网络的初步介绍 430
13.3.1 一个简单的非线性映射 430
13.3.2 混沌神经元模型 432
13.3.3 用混沌神经网络作联想记忆 434
参考文献 435
第14章 误差函数与参数优化方法 437
14.1 误差平方和 438
14.1.1 网络输出的含义 438
14.1.2 更一般的条件分布的建模 440
14.2 后验概率估计 442
14.2.1 误差平方和准则 443
14.2.2 隐单元的作用 443
14.2.3 R范数误差 444
14.3 交叉熵 445
14.3.1 两类分类器 445
14.3.2 交叉熵的性质 446
14.3.3 多类情况 447
14.4 参数优化算法 448
14.4.1 误差曲面 448
14.4.2 对E的局部二次逼近 449
14.4.3 优化过程的一些实际问题 450
14.5 梯度下降法 451
14.5.1 收敛性的定性分析 452
14.5.2 加速收敛的措施 452
14.6 共轭梯度法 454
14.7 牛顿法及其变形 457
14.8 Levenberg－Marquart算法 458
14.9 信息几何与自然梯度 459
参考文献 459
第15章 贝叶斯方法 461
15.1 网络权值的贝叶斯学习 462
15.1.1 权值的分布 462
15.1.2 一类更广的分布 464
15.1.3 网络输出的分布 465
15.1.4 超参数的处理 466
15.2 贝叶斯模型选择 468
15.2.1 模型显著度 469
15.2.2 网络组 470
15.2.4 最小描述长度 471
15.2.3 贝叶斯方法的实现 471
15.3 在神经网络中的应用 472
15.4 贝叶斯阴阳系统理论简介 474
15.5 讨论 475
参考文献 477
第16章 神经网络在信号处理中的应用 479
16.1 引言 479
16.2 用泛函对物理系统建模 479
16.2.1 算子与泛函 480
16.2.2 Volterra级数 481
16.3 Volterra级数与多层前馈网络 482
16.4 非线性ARMA模型与MFNN 484
16.5 状态空间表示与神经网络 486
16.6 神经网络与马尔可夫模型 487
16.7 特征空间分解与神经网络 489
16.7.1 信息判据用于主子空间分析 489
16.7.2 非线性主元分析 492
16.8 EM算法用于训练部分反馈网络 494
16.9 混沌时间序列的预测和混沌中信号的检测 497
16.9.1 混沌时间序列的预测 497
16.9.2 混沌中信号的检测——海洋杂乱回波中雷达信号的检测 501
16.10 神经网络用于信息的压缩和编码 503
16.11 神经网络用于盲信号处理 507
16.12 小波网络与多分辨率学习 512
16.12.1 引言 512
16.12.2 小波基函数与函数的多分辨率分析 512
16.12.3 多分辨率学习与小波网络 515
16.12.4 多尺度网络用于时间序列预测 520
参考文献 522
第17章 进化计算概论与进化策略 526
17.1 进化计算概论 526
17.2 二元进化策略 528
17.2.1 基本算法 528
17.2.2 变异过程 530
17.2.3 步长选择 532
17.2.4 收敛准则 534
17.2.5 对于约束条件的处理 535
17.3 多元进化策略 535
17.3.1 基本算法 536
17.3.2 （1，λ）前进速度分析 537
17.3.3 步长控制 543
17.3.4 μ≥1时的收敛准则 545
17.3.5 串行与并行 546
参考文献 547
第18章 遗传算法及其理论分析 549
18.1 标准遗传算法和基本概念 549
18.2 模式定理 552
18.3 基因块假设 556
18.4 欺骗性问题 559
18.5 收敛性分析 563
18.5.1 基本概念 563
18.5.2 守恒交叉算子 565
18.5.3 完全变异算子 566
18.5.4 遗传算法的马尔可夫链分析 567
参考文献 569
第19章 遗传算法的设计与实现 570
19.1 编码方法 570
19.1.1 编码原则 571
19.1.2 编码方法 573
19.2 适应度函数 577
19.2.1 目标函数映射成适应度函数 577
19.2.2 适应度函数调整 578
19.2.3 适应度函数的设计对遗传算法的影响 579
19.3 遗传算子 580
19.3.1 选择算子 580
19.3.2 交叉算子 582
19.3.3 变异算子 584
19.4 其他问题 586
19.4.1 参数选择 586
19.4.2 其他操作 587
参考文献 592
第20章 遗传算法在神经网络中的应用 593
20.1 连接权的进化方法 593
20.2 网络结构的进化方法 595
20.3 用遗传算法解决XOR问题示例 597
参考文献 599
第21章 遗传算法在作业调度中的应用 600
21.1 问题描述 600
21.2 解作业调度问题的遗传算法 602
21.3 仿真结果 605
参考文献 609
第22章 分布估计算法 610
22.1 离散的分布估计算法 611
22.1.1 变量独立假设下的算法 611
22.1.2 双变量概率依赖关系 614
22.1.3 多变量概率依赖关系 622
22.2 连续的分布估计算法 626
22.2.1 变量独立假设下的算法 627
22.2.2 双变量概率依赖关系 628
22.2.3 多变量概率依赖关系 629
22.3 讨论 630
参考文献 631
索引 634