第1章 概述 1
1.1 什么是神经计算 1
1.1.1 计算与计算的工具 1
1.1.2 神经计算与神经计算模型 2
1.1.3 神经计算与人工智能 3
1.1.4 神经计算的目标 4
1.2 为什么研究神经计算 5
1.2.1 挑战符号计算和专家系统 5
1.2.2 挑战编程计算和Von Neumann机 8
1.2.3 Edmonds标准和Church论断 14
1.3 神经计算的特性 16
1.3.1 面向神经元（Oriented-Neuron） 16
1.3.2 联结性（Connectivity） 17
1.3.3 分布效应（Distributed Effect） 19
1.3.4 并行效应（Parallel Effect） 20
1.3.5 容错效应（Fault-Tolerance Effect） 21
1.3.6 集体效应（Collective Effect） 22
1.3.7 记忆效应（Memory Effect） 24
1.3.8 自组织效应（Self-Organizing Effect） 26
1.4 神经计算科学的发展历程 28
1.4.1 早期（—1970年） 29
1.4.2 休眠期（1970年—1980年） 30
1.4.3 复苏期（1980年—1990年） 32
1.4.4 高潮期（1990年—） 34
1.5 阅读指南 36
第2章 神经计算的生理学基础 39
引言 39
2.1 生物神经系统概貌 39
2.1.1 人脑与神经系统 40
2.1.2 反射弧：最基本的神经系统 42
2.2 生物神经元 45
2.2.1 神经细胞的形态特征 46
2.2.2 神经细胞的结构特征 47
2.2.3 神经细胞的功能特征 48
2.3 神经冲动 51
2.3.1 膜电位及其测量 51
2.3.2 静息电位与钾离子学说 53
2.3.3 动作电位与钠-钾离子学说 56
2.4 细胞膜传导 61
2.4.1 神经冲动的膜传导性质 61
2.4.2 膜传导的离子学说 63
2.5 突触与突触传导 65
2.5.1 突触 66
2.5.2 突触传导 69
2.6 生物神经网络 71
2.6.1 神经细胞基本的互联形式 71
2.6.2 神经细胞的抑制性联结 75
2.6.3 神经细胞群之间的联结 78
2.6.4 反射弧中的神经网络 80
2.7 学习和记忆的神经机制 81
2.7.1 陈述性记忆和过程性记忆 81
2.7.2 三级记忆模型 82
2.7.3 基于刺激和反应的学习 87
2.7.4 神经组织的可塑性 90
章结 91
第3章 神经计算的元素——人工神经元 94
引言 94
3.1.1 Lapicque神经细胞模型 95
3.1 神经细胞模型 95
3.1.2 Hodgkin-Huxley神经细胞模型 97
3.1.3 Morris-Lecar神经细胞模型 99
3.1.4 GENESYS电缆模型 101
3.2 人工神经元的定义 102
3.2.1 漏电积分器与神经元 102
3.2.2 概念模型定义 104
3.2.3 概念模型意义下的Lapicque模型 105
3.3 人工神经元解析 106
3.3.1 人工神经元的结构特征 107
3.3.2 人工神经元的“整合—激发” 108
3.3.3 人工神经元的记忆和学习 111
3.4 人工神经元的归纳 112
3.4.1 动态人工神经元 112
3.4.2 静态人工神经元 113
3.4.3 阈值与联系效率的等效性 115
章结 117
第4章 神经计算的拓扑——人工神经网络 119
引言 119
4.1 神经网络与图论 120
4.1.1 图的基本概念 120
4.1.2 赋权图 129
4.1.3 神经网络图 132
4.2 神经系统的概念模型 136
4.2.1 神经系统概念模型的定义 136
4.2.2 神经系统概念模型的结构和功能 138
4.2.3 概念模型意义下的前馈型神经网络 141
4.2.4 概念模型意义下的反馈型神经网络 144
4.3 神经计算模型的复杂性 145
4.3.1 结构复杂性 146
4.3.2 算法复杂性 150
4.4 神经计算模型的并行度 151
章结 152
第5章 神经计算的组织——人工神经系统的学习机制 154
引言 154
5.1 脑与自组织 155
5.1.1 脑的形态与自组织 156
5.1.2 脑的模式与自组织 158
5.1.3 脑的神经线路结构与自组织 159
5.2 信息系统与广义自组织 160
5.2.1 系统 160
5.2.2 信息系统 162
5.2.3 自组织系统 163
5.2.4 系统的广义自组织概念 165
5.2.5 人工神经系统的广义自组织特征 166
5.3 熵与信息和自组织 167
5.3.1 熵与热力学第二定律 167
5.3.2 Boltzmann熵与系统组织程度 168
5.3.3 Maxwell妖精与自组织 170
5.3.4 信息与统计熵和信息熵 172
5.3.5 信息与系统的组织程度 174
5.4 神经计算与信息熵和自组织 175
5.4.1 信息熵 175
5.4.2 信息量 176
5.4.3 神经计算与能量 179
5.4.4 神经计算与自组织 180
5.4.5 神经计算的自组织示例 183
5.5.1 监督学习机制 186
5.5 神经计算与学习机制 186
5.5.2 非监督学习机制 188
章结 190
第6章 Hebb学习 191
引言 191
6.1 Hebb突触与Hebb猜想 192
6.2 形式化的Hebb猜想：Hebb学习律 195
6.2.1 经典的Hebb学习律 195
6.2.2 具有遗忘机制的Hebb学习律 197
6.2.3 具有突触时延机制的Hebb学习律 197
6.2.4 连续时间的Hebb学习律 198
6.3 Hebb学习律的发展 200
6.3.1 突触抑制的Hebb学习律 200
6.3.2 激励强化的Hebb学习律 202
6.3.3 有界联系效率的Hebb学习律 203
6.4 反Hebb学习 206
6.4.1 线性反Hebb学习律 206
6.4.2 侧抑制中的反Hebb突触 207
6.4.3 Hebb与反Hebb突触的对立统一关系 208
6.5 Pavlov实验与Hebb突触修饰 210
6.5.1 Pavlov实验 210
6.5.2 Pavlov实验模型 210
6.5.3 Pavlov实验与Hebb学习 212
6.6 Hebb学习与竞争学习模型 213
6.6.1 竞争学习 213
6.6.2 竞争模型 214
6.6.3 竞争算法 215
6.6.4 竞争自组织过程中的Hebb突触修饰 216
6.7.1 联想记忆 217
6.7 Hebb学习与联想记忆模型 217
6.7.2 Hebb学习与自联想记忆模型 219
6.7.3 Hebb学习与异联想记忆模型 221
6.8 Hebb学习与强化学习模型 223
6.8.1 学习与强化 223
6.8.2 强化学习机制 224
6.8.3 强化学习中的Hebb突触修饰 226
章结 230
第7章 McCulloch-Pitts模型——第一个人工神经系统 232
引言 232
7.1 McCulloch-Pitts神经元 233
7.1.1 McCulloch和Pitts的工作基础 233
7.1.2 MCP神经元的定义 234
7.1.3 MCP神经元的结构特征 235
7.1.4 MCP神经元的功能特征 236
7.2 McCulloch-Pitts神经网络 237
7.2.1 MCP模型的定义 238
7.2.2 MCP模型的联结 238
7.2.3 MCP模型示例：MCP时序电路 240
7.3 McCulloch-Pitts计算 242
7.3.1 MCP计算的基本要素 242
7.3.2 MCP计算的实现问题 246
7.3.3 MCP逻辑运算系统 248
7.4 McCulloch-Pitts模型的等效系统 251
7.4.1 赋权联结 251
7.4.2 绝对抑制与相对抑制 252
7.5 McCulloch-Pitts模型与有限状态机 254
7.5.1 动态MCP模型及其状态 254
7.5.2 有限状态自动机：MCP模型的推广 257
7.5.3 Arbib模型 259
章结 262
第8章 感知器 263
引言 263
8.1 感知器的思想基础 264
8.2 感知器的体系结构和计算机制 267
8.2.1 感知器的定义 268
8.2.2 PRC神经元 269
8.2.3 感知器的体系结构 272
8.2.4 原始的感知器 274
8.3 感知器的实现和自组织 277
8.3.1 感知器的实现问题 278
8.3.2 感知器实现的途径：记忆和学习 280
8.3.3 感知器学习规则 283
8.3.4 感知器学习实例：瓷砖质量检测 286
8.4 感知器的记忆和学习特性分析 289
8.4.1 感知器学习的收敛性问题 289
8.4.2 感知器记忆容量问题 291
8.5 感知器与线性不可分问题 294
8.5.1 线性可分性（Linear Separability）概念 294
8.5.2 第一类线性不可分问题 297
8.5.3 第二类线性不可分问题 298
8.6 多层感知器：突破线性可分局限性 299
章结 302
第9章 自适应线性神经元网络 304
引言 304
9.1 ADALINE网络的体系结构和计算机制 305
9.1.1 ADALINE网络的定义 305
9.1.2 ALN神经元 307
9.1.3 ADALINE网络的体系结构 309
9.1.4 ADALINE网络的等效结构 310
9.2 Widrow-Hoff学习 311
9.2.1 均方误差函数及其极小化问题 311
9.2.2 LMS学习算法 314
9.2.3 增强型LMS学习算法 316
9.2.4 ADALINE实现一：“苹果—橘子”分类问题 317
9.2.5 ADALINE实现二：T-G-F字符识别问题 321
9.3 ADALINE网络特性分析 325
9.3.1 LMS学习算法的收敛性 325
9.3.2 学习率的选择 328
9.3.3 记忆容量问题 331
9.3.4 模式划分能力与决策边界 332
9.4 ADALINE网络与宇宙飞行器姿态控制 335
9.4.1 空间飞行器的姿态控制问题 335
9.4.2 ADALINE控制器设计 337
9.4.3 基于LMS算法的学习控制律 338
9.4.4 学习控制的仿真实验 339
章结 342
第10章 误差往回传播网络 343
引言 343
10.1 BP网络的体系结构和计算机制 344
10.1.1 BP网络的定义 344
10.1.2 BPN神经元 346
10.1.3 BP网络的结构 349
10.1.4 等效BP网络 351
10.2 Back-Propagation（BP）学习 354
10.2.1 复合函数求导法则与误差往回传播 354
10.2.2 BP网络的性能函数 356
10.2.3 BPN神经元的局域误差 359
10.2.4 BP算法：基于Widrow性能函数 361
10.2.5 BP算法：基于Rumelhart性能函数 365
10.3 BP网络与非线性映射的表达 367
10.3.1 BP网络的表达与实现问题 368
10.3.2 BP网络表达能力分析 368
10.3.3 示例：一个非线性映射的BP表达 373
10.3.4 BP学习的收敛性及其局部极小问题 375
10.3.5 BP学习的泛化能力 380
10.4 BP网络的记忆容量问题 389
10.4.1 BP网络记忆容量的定义 389
10.4.2 BP网络记忆容量的分析 391
10.4.3 BP网络记忆容量的逆问题 393
10.4.4 BP网络记忆容量的扩充 394
10.5 BP算法的改进 396
10.5.1 动量BP算法 396
10.5.2 自适应BP算法 398
10.5.3 共轭梯度BP算法 399
10.5.4 Levenberg-Marquardt算法 404
10.6 BP网络与机器人环形巡航 409
10.6.1 机器人Robot 01及其环形巡航任务 409
10.6.2 Robot 01的脑：一个BP网络 411
10.6.3 Robot 01仿真实验 413
章结 415
第11章 小脑算术计算模型——CMAC神经网络 416
引言 416
11.1 小脑与Albus理论 417
11.1.1 小脑是怎样组织和工作的 417
11.1.2 Marr和Albus的理论 419
11.1.3 Albus用感知器注解小脑理论 421
11.2.1 CMAC的定义 425
11.2 CMAC的体系结构和运行机制 425
11.2.2 CMAC中的神经元 428
11.2.3 CMAC模型的结构解析 432
11.2.4 一个一维的CMAC模型 434
11.2.5 一个二维的CMAC模型 435
11.2.6 CMAC的物理存储器与散列编码 436
11.2.7 CMAC的信息流程 439
11.3 CMAC学习 439
11.3.1 CMAC学习：LMS学习的特例 440
11.3.2 CMAC性能函数和学习算法 442
11.3.3 示例：CMAC学习与异或逻辑实现 443
11.3.4 CMAC学习的收敛性 446
11.4 CMAC模型的性能分析 448
11.4.1 CMAC的局域泛化 449
11.4.2 CMAC模型与线性不可分问题 451
11.4.3 CMAC模型的记忆容量问题 453
11.4.4 CMAC的数据冲撞问题 454
11.5 CMAC模型与机器人手眼协调控制 455
11.5.1 机器人Robot 02及其手眼协调控制问题 455
11.5.2 Robot 02的人工小脑 457
11.5.3 Robot 02仿真实验 459
章结 459
第12章 径向基函数网络 461
引言 461
12.1 RBF插值计算 462
12.1.1 插值问题 462
12.1.2 Cover定理与模式可分性 463
12.1.3 基函数—正规化—径向基函数 465
12.2.1 插值计算与神经计算 468
12.2 RBF神经计算 468
12.2.2 RBF网络的定义 469
12.2.3 RBF网络的元素 471
12.2.4 RBF网络的拓扑 474
12.2.5 RBF中心向量的选择 476
12.2.6 RBF学习 477
12.2.7 全局RBF学习 481
12.3 RBF网络的性能分析 483
12.3.1 RBF网络的函数逼近能力 483
12.3.2 RBF学习的收敛和泛化 484
12.3.3 RBF网络的记忆容量问题 486
12.4 RBF网络与摘水果的机器人 487
12.4.1 摘水果的机器人：Robot 03 487
12.4.2 Robot 03的运动规划问题 488
12.4.3 Robot 03的脑：多RBF网络 489
12.4.4 RBFMP的学习和训练 490
12.4.5 Robot 03仿真实验 491
章结 492
第13章 Hopfield网络 493
引言 493
13.1 Hopfield网络的体系结构和计算机制 494
13.1.1 DHN网络的定义 494
13.1.2 DHN神经元 495
13.1.3 DHN网络的结构解析 498
13.1.4 DHN网络的工作模式 500
13.2 Hopfield网络的稳定性及其能量函数 501
13.2.1 动力学系统 501
13.2.2 Lyapunov稳定性定理与Lyapunov函数 506
13.2.3 DHN网络的能量函数 507
13.2.4 DHN网络的稳定性 509
13.2.5 DHN网络的联结形式与稳定状态 512
13.3 Hopfield网络的设计与学习 514
13.3.1 DHN网络的设计问题 514
13.3.2 DHN网络与Hebb学习 515
13.3.3 DHN网络的伪逆投影设计法 517
13.3.4 DHN网络的吸引子和吸引域 518
13.3.5 DHN网络的记忆容量问题 522
13.4 连续型Hopfield网络 525
13.4.1 CHN网络的数学描述 526
13.4.2 CHN网络的稳定性 526
13.4.3 CHN神经电路的实现 528
13.5 双向联想记忆模型 528
13.5.1 BAM模型的数学描述 529
13.5.2 BAM模型的结构解析 530
13.5.3 BAM模型设计 532
13.5.4 BAM模型的能量函数与稳定性 533
13.6 Hopfield网络与联想记忆 534
13.6.1 Hamming空间与线性联想记忆 535
13.6.2 Hopfield网络与影像记忆 536
13.6.3 BAM模型与“血型—颜色”联想 538
13.7 Hopfield网络与优化计算 540
13.7.1 数值编码与数值计算 541
13.7.2 动态系统的最优控制问题 542
13.7.3 组合优化：TSP问题 544
13.8 Hopfield网络与Wiener机器蠕虫 548
13.8.1 Wiener机器蠕虫 548
13.8.2 Wiener机器蠕虫的实现 549
13.8.3 M.Worm的脑：一个2阶CHN网络 550
章结 551
第14章 Boltzmann机 553
引言 553
14.1 统计物理学与能量和信息 554
14.1.1 Boltzmann-Gibbs分布与随机动态 554
14.1.2 自由能与熵 555
14.1.3 退火（Annealing） 556
14.1.4 熵与信息 557
14.2 Boltzmann机的体系结构 558
14.2.1 Boltzmann机的定义 558
14.2.2 BLT神经元 559
14.2.3 Boltzmann机的一般结构 563
14.2.4 Boltzmann机的I/O结构 564
14.3 Boltzmann机的运行机制 564
14.3.1 Mante Carlo方法 565
14.3.2 Metropolis算法 567
14.3.3 模拟退火算法 568
14.3.4 Boltzmann机的工作算法 570
14.3.5 Boltzmann机的平衡状态与稳定性 571
14.4 Boltzmann学习 573
14.4.1 基于极大似然原理的Boltzmann学习 573
14.4.2 相对信息熵意义下的Boltzmann学习 576
14.4.3 Boltzmann机I/O结构中的学习 578
14.5 平均场理论与确定型Boltzmann机 579
14.5.1 平均场理论 579
14.5.2 确定型和连续型Boltzmann机 580
14.5.3 平均场学习算法 581
14.6 Boltzmann机与计算 582
14.6.1 Boltzmann机学习XOR逻辑 582
14.6.2 Boltzmann机与联想记忆 584
14.6.3 Boltzmann机与优化计算 588
14.7 Boltzmann机与Walter机器龟 591
14.7.1 Walter机器龟 591
14.7.2 M.Docilis新的实现 593
14.7.3 M.Docilis“感知—行动”机能的形成 595
章结 596
第15章 自组织特征图 597
引言 597
15.1 SOM图的神经生理学意义 598
15.1.1 大脑皮质及其二维特征 599
15.1.2 侧抑制联结与竞争 600
15.1.3 生物神经系统中的SOM图 601
15.2 SOM图的体系结构 603
15.2.1 SOM图的定义 603
15.2.2 SOM神经元 605
15.2.3 SOM图的一般结构 606
15.3 SOM图的运行机制 608
15.3.1 SOM图竞争机制 608
15.3.2 SOM图协同机制 609
15.3.3 SOM图自适应机制 611
15.3.4 SOM图自组织运行算法 612
15.3.5 SOM图的功能和特性 614
15.3.6 时间连续的SOM图 616
15.4 SOM图与拓扑映射 617
15.4.1 表达拓扑特征映射关系 617
15.4.2 压缩数据空间维数 620
15.4.3 “银河系星体分布”特征图 621
15.5 SOM图与TSP问题 622
15.5.1 SOM图求解TSP问题的基本原理 622
15.5.2 SOM环生长算法 623
15.5.3 SOM环求解TSP问题 624
15.6 SOM图与机器人路径规划 625
15.6.1 巡视障碍环境的机器人：Robot 04 625
15.6.2 学习环境地形的SOM图 626
15.6.3 基于SOM图进行路径规划 627
章结 628
第16章 自适应谐振理论与ART系统 629
引言 629
16.1 生物视神经系统的启示 630
16.1.1 眼与视网膜及视觉通道 630
16.1.2 神经节细胞的接收域 631
16.1.3 感知和注意及视觉信息流 632
16.1.4 视觉范化与亮度对比 633
16.2 Grossberg网络：模拟视觉系统 634
16.2.1 GBN网络的定义 635
16.2.2 GBN神经元 637
16.2.3 GBN网络的结构解析 640
16.2.4 GBN网络感受层：输入范化 641
16.2.5 GBN网络反应层：对比增强 642
16.2.6 GBN学习：一种竞争学习机制 645
16.2.7 GBN网络与万能编码 647
16.3 自适应谐振理论 648
16.3.1 S P二难问题 648
16.3.2 生物神经系统中的自适应谐振现象 649
16.3.3 ART结构 651
16.3.4 ART系统中的模式匹配 652
16.3.5 自稳定的ART学习 654
16.3.6 增益控制与2/3规则 656
16.4.1 ART1系统的定义 657
16.4 自适应谐振理论的实现之一：ART1 657
16.4.2 ART1神经元 660
16.4.3 ART1系统的结构解析 663
16.4.4 ART1系统的注意子系统 664
16.4.5 ART1系统的定向子系统 669
16.4.6 ART1系统的学习子系统 672
16.4.7 ART1系统的等效实现 675
16.4.8 ART1系统的神经计算功能 677
16.5 自适应谐振理论的实现之二：ART2 681
16.5.1 ART2系统的定义 682
16.5.2 ART2系统的体系结构 684
16.5.3 ART2系统的注意子系统 686
16.5.4 ART2系统的定向子系统 687
16.5.5 ART2系统的学习子系统 689
16.5.6 ART2系统的等效实现 690
16.5.7 ART2系统的神经计算功能 692
16.6 ART系统与机器人的“感知—行动” 694
16.6.1 机器人Robot 05与迷宫 694
16.6.2 Robot 05的人工脑 696
16.6.3 Robot 05的仿真实验 698
章结 700
结束语 神经计算到底能做什么？ 702
C.1 Turing机与Church-Turing论断 703
C.2 Turing机与Von Neumann机 704
C.3 Turing机与神经计算 705
C.4 神经计算机 709
C.5 简略的回顾与展望 711
参考文献 714
附录 索引 735