神经计算科学 在细胞的水平上模拟脑功能PDF电子书下载

第1章　概述 1

1.1　什么是神经计算 1

1.1.1　计算与计算的工具 1

1.1.2　神经计算与神经计算模型 2

1.1.3　神经计算与人工智能 3

1.1.4　神经计算的目标 4

1.2　为什么研究神经计算 5

1.2.1　挑战符号计算和专家系统 5

1.2.2　挑战编程计算和Von Neumann机 8

1.2.3　Edmonds标准和Church论断 14

1.3　神经计算的特性 16

1.3.1 面向神经元（Oriented-Neuron） 16

1.3.2　联结性（Connectivity） 17

1.3.3　分布效应（Distributed Effect） 19

1.3.4 并行效应（Parallel Effect） 20

1.3.5 容错效应（Fault-Tolerance Effect） 21

1.3.6 集体效应（Collective Effect） 22

1.3.7　记忆效应（Memory Effect） 24

1.3.8 自组织效应（Self-Organizing Effect） 26

1.4　神经计算科学的发展历程 28

1.4.1　早期（—1970年） 29

1.4.2　休眠期（1970年—1980年） 30

1.4.3　复苏期（1980年—1990年） 32

1.4.4　高潮期（1990年—） 34

1.5　阅读指南 36

第2章　神经计算的生理学基础 39

引言 39

2.1　生物神经系统概貌 39

2.1.1　人脑与神经系统 40

2.1.2　反射弧：最基本的神经系统 42

2.2　生物神经元 45

2.2.1　神经细胞的形态特征 46

2.2.2　神经细胞的结构特征 47

2.2.3　神经细胞的功能特征 48

2.3　神经冲动 51

2.3.1　膜电位及其测量 51

2.3.2　静息电位与钾离子学说 53

2.3.3　动作电位与钠-钾离子学说 56

2.4　细胞膜传导 61

2.4.1　神经冲动的膜传导性质 61

2.4.2　膜传导的离子学说 63

2.5　突触与突触传导 65

2.5.1 突触 66

2.5.2　突触传导 69

2.6　生物神经网络 71

2.6.1　神经细胞基本的互联形式 71

2.6.2　神经细胞的抑制性联结 75

2.6.3　神经细胞群之间的联结 78

2.6.4　反射弧中的神经网络 80

2.7　学习和记忆的神经机制 81

2.7.1　陈述性记忆和过程性记忆 81

2.7.2　三级记忆模型 82

2.7.3　基于刺激和反应的学习 87

2.7.4　神经组织的可塑性 90

章结 91

第3章　神经计算的元素——人工神经元 94

引言 94

3.1.1 Lapicque神经细胞模型 95

3.1　神经细胞模型 95

3.1.2 Hodgkin-Huxley神经细胞模型 97

3.1.3 Morris-Lecar神经细胞模型 99

3.1.4 GENESYS电缆模型 101

3.2　人工神经元的定义 102

3.2.1 漏电积分器与神经元 102

3.2.2　概念模型定义 104

3.2.3　概念模型意义下的Lapicque模型 105

3.3　人工神经元解析 106

3.3.1　人工神经元的结构特征 107

3.3.2　人工神经元的“整合—激发” 108

3.3.3　人工神经元的记忆和学习 111

3.4　人工神经元的归纳 112

3.4.1　动态人工神经元 112

3.4.2　静态人工神经元 113

3.4.3　阈值与联系效率的等效性 115

章结 117

第4章　神经计算的拓扑——人工神经网络 119

引言 119

4.1　神经网络与图论 120

4.1.1　图的基本概念 120

4.1.2　赋权图 129

4.1.3　神经网络图 132

4.2　神经系统的概念模型 136

4.2.1　神经系统概念模型的定义 136

4.2.2　神经系统概念模型的结构和功能 138

4.2.3　概念模型意义下的前馈型神经网络 141

4.2.4　概念模型意义下的反馈型神经网络 144

4.3　神经计算模型的复杂性 145

4.3.1　结构复杂性 146

4.3.2　算法复杂性 150

4.4　神经计算模型的并行度 151

章结 152

第5章　神经计算的组织——人工神经系统的学习机制 154

引言 154

5.1　脑与自组织 155

5.1.1　脑的形态与自组织 156

5.1.2　脑的模式与自组织 158

5.1.3　脑的神经线路结构与自组织 159

5.2　信息系统与广义自组织 160

5.2.1 系统 160

5.2.2　信息系统 162

5.2.3 自组织系统 163

5.2.4 系统的广义自组织概念 165

5.2.5　人工神经系统的广义自组织特征 166

5.3　熵与信息和自组织 167

5.3.1 熵与热力学第二定律 167

5.3.2　Boltzmann熵与系统组织程度 168

5.3.3 Maxwell妖精与自组织 170

5.3.4　信息与统计熵和信息熵 172

5.3.5　信息与系统的组织程度 174

5.4　神经计算与信息熵和自组织 175

5.4.1　信息熵 175

5.4.2　信息量 176

5.4.3　神经计算与能量 179

5.4.4　神经计算与自组织 180

5.4.5　神经计算的自组织示例 183

5.5.1　监督学习机制 186

5.5　神经计算与学习机制 186

5.5.2　非监督学习机制 188

章结 190

第6章　Hebb学习 191

引言 191

6.1　Hebb突触与Hebb猜想 192

6.2　形式化的Hebb猜想：Hebb学习律 195

6.2.1　经典的Hebb学习律 195

6.2.2　具有遗忘机制的Hebb学习律 197

6.2.3　具有突触时延机制的Hebb学习律 197

6.2.4　连续时间的Hebb学习律 198

6.3　Hebb学习律的发展 200

6.3.1 突触抑制的Hebb学习律 200

6.3.2　激励强化的Hebb学习律 202

6.3.3　有界联系效率的Hebb学习律 203

6.4　反Hebb学习 206

6.4.1　线性反Hebb学习律 206

6.4.2　侧抑制中的反Hebb突触 207

6.4.3　Hebb与反Hebb突触的对立统一关系 208

6.5 Pavlov实验与Hebb突触修饰 210

6.5.1 Pavlov实验 210

6.5.2 Pavlov实验模型 210

6.5.3 Pavlov实验与Hebb学习 212

6.6 Hebb学习与竞争学习模型 213

6.6.1　竞争学习 213

6.6.2　竞争模型 214

6.6.3　竞争算法 215

6.6.4　竞争自组织过程中的Hebb突触修饰 216

6.7.1 联想记忆 217

6.7 Hebb学习与联想记忆模型 217

6.7.2 Hebb学习与自联想记忆模型 219

6.7.3 Hebb学习与异联想记忆模型 221

6.8 Hebb学习与强化学习模型 223

6.8.1　学习与强化 223

6.8.2　强化学习机制 224

6.8.3 强化学习中的Hebb突触修饰 226

章结 230

第7章　McCulloch-Pitts模型——第一个人工神经系统 232

引言 232

7.1 McCulloch-Pitts神经元 233

7.1.1 McCulloch和Pitts的工作基础 233

7.1.2 MCP神经元的定义 234

7.1.3 MCP神经元的结构特征 235

7.1.4 MCP神经元的功能特征 236

7.2 McCulloch-Pitts神经网络 237

7.2.1 MCP模型的定义 238

7.2.2 MCP模型的联结 238

7.2.3 MCP模型示例：MCP时序电路 240

7.3 McCulloch-Pitts计算 242

7.3.1 MCP计算的基本要素 242

7.3.2 MCP计算的实现问题 246

7.3.3 MCP逻辑运算系统 248

7.4 McCulloch-Pitts模型的等效系统 251

7.4.1　赋权联结 251

7.4.2　绝对抑制与相对抑制 252

7.5　McCulloch-Pitts模型与有限状态机 254

7.5.1　动态MCP模型及其状态 254

7.5.2　有限状态自动机：MCP模型的推广 257

7.5.3 Arbib模型 259

章结 262

第8章　感知器 263

引言 263

8.1　感知器的思想基础 264

8.2　感知器的体系结构和计算机制 267

8.2.1　感知器的定义 268

8.2.2　PRC神经元 269

8.2.3　感知器的体系结构 272

8.2.4　原始的感知器 274

8.3　感知器的实现和自组织 277

8.3.1　感知器的实现问题 278

8.3.2　感知器实现的途径：记忆和学习 280

8.3.3　感知器学习规则 283

8.3.4　感知器学习实例：瓷砖质量检测 286

8.4　感知器的记忆和学习特性分析 289

8.4.1 感知器学习的收敛性问题 289

8.4.2　感知器记忆容量问题 291

8.5　感知器与线性不可分问题 294

8.5.1　线性可分性（Linear Separability）概念 294

8.5.2　第一类线性不可分问题 297

8.5.3　第二类线性不可分问题 298

8.6　多层感知器：突破线性可分局限性 299

章结 302

第9章　自适应线性神经元网络 304

引言 304

9.1 ADALINE网络的体系结构和计算机制 305

9.1.1 ADALINE网络的定义 305

9.1.2 ALN神经元 307

9.1.3 ADALINE网络的体系结构 309

9.1.4 ADALINE网络的等效结构 310

9.2 Widrow-Hoff学习 311

9.2.1 均方误差函数及其极小化问题 311

9.2.2 LMS学习算法 314

9.2.3 增强型LMS学习算法 316

9.2.4 ADALINE实现一：“苹果—橘子”分类问题 317

9.2.5 ADALINE实现二：T-G-F字符识别问题 321

9.3 ADALINE网络特性分析 325

9.3.1 LMS学习算法的收敛性 325

9.3.2　学习率的选择 328

9.3.3　记忆容量问题 331

9.3.4　模式划分能力与决策边界 332

9.4　ADALINE网络与宇宙飞行器姿态控制 335

9.4.1 空间飞行器的姿态控制问题 335

9.4.2 ADALINE控制器设计 337

9.4.3　基于LMS算法的学习控制律 338

9.4.4　学习控制的仿真实验 339

章结 342

第10章　误差往回传播网络 343

引言 343

10.1　BP网络的体系结构和计算机制 344

10.1.1 BP网络的定义 344

10.1.2 BPN神经元 346

10.1.3 BP网络的结构 349

10.1.4　等效BP网络 351

10.2 Back-Propagation（BP）学习 354

10.2.1　复合函数求导法则与误差往回传播 354

10.2.2　BP网络的性能函数 356

10.2.3 BPN神经元的局域误差 359

10.2.4 BP算法：基于Widrow性能函数 361

10.2.5 BP算法：基于Rumelhart性能函数 365

10.3 BP网络与非线性映射的表达 367

10.3.1 BP网络的表达与实现问题 368

10.3.2 BP网络表达能力分析 368

10.3.3 示例：一个非线性映射的BP表达 373

10.3.4 BP学习的收敛性及其局部极小问题 375

10.3.5 BP学习的泛化能力 380

10.4 BP网络的记忆容量问题 389

10.4.1 BP网络记忆容量的定义 389

10.4.2 BP网络记忆容量的分析 391

10.4.3 BP网络记忆容量的逆问题 393

10.4.4 BP网络记忆容量的扩充 394

10.5 BP算法的改进 396

10.5.1 动量BP算法 396

10.5.2 自适应BP算法 398

10.5.3 共轭梯度BP算法 399

10.5.4 Levenberg-Marquardt算法 404

10.6 BP网络与机器人环形巡航 409

10.6.1 机器人Robot 01及其环形巡航任务 409

10.6.2 Robot 01的脑：一个BP网络 411

10.6.3 Robot 01仿真实验 413

章结 415

第11章 小脑算术计算模型——CMAC神经网络 416

引言 416

11.1 小脑与Albus理论 417

11.1.1 小脑是怎样组织和工作的 417

11.1.2 Marr和Albus的理论 419

11.1.3 Albus用感知器注解小脑理论 421

11.2.1 CMAC的定义 425

11.2 CMAC的体系结构和运行机制 425

11.2.2 CMAC中的神经元 428

11.2.3 CMAC模型的结构解析 432

11.2.4 一个一维的CMAC模型 434

11.2.5 一个二维的CMAC模型 435

11.2.6 CMAC的物理存储器与散列编码 436

11.2.7 CMAC的信息流程 439

11.3 CMAC学习 439

11.3.1 CMAC学习：LMS学习的特例 440

11.3.2 CMAC性能函数和学习算法 442

11.3.3 示例：CMAC学习与异或逻辑实现 443

11.3.4 CMAC学习的收敛性 446

11.4 CMAC模型的性能分析 448

11.4.1 CMAC的局域泛化 449

11.4.2 CMAC模型与线性不可分问题 451

11.4.3 CMAC模型的记忆容量问题 453

11.4.4 CMAC的数据冲撞问题 454

11.5 CMAC模型与机器人手眼协调控制 455

11.5.1 机器人Robot 02及其手眼协调控制问题 455

11.5.2 Robot 02的人工小脑 457

11.5.3 Robot 02仿真实验 459

章结 459

第12章 径向基函数网络 461

引言 461

12.1 RBF插值计算 462

12.1.1 插值问题 462

12.1.2 Cover定理与模式可分性 463

12.1.3 基函数—正规化—径向基函数 465

12.2.1 插值计算与神经计算 468

12.2 RBF神经计算 468

12.2.2 RBF网络的定义 469

12.2.3 RBF网络的元素 471

12.2.4 RBF网络的拓扑 474

12.2.5 RBF中心向量的选择 476

12.2.6 RBF学习 477

12.2.7 全局RBF学习 481

12.3 RBF网络的性能分析 483

12.3.1 RBF网络的函数逼近能力 483

12.3.2 RBF学习的收敛和泛化 484

12.3.3 RBF网络的记忆容量问题 486

12.4 RBF网络与摘水果的机器人 487

12.4.1 摘水果的机器人：Robot 03 487

12.4.2 Robot 03的运动规划问题 488

12.4.3 Robot 03的脑：多RBF网络 489

12.4.4 RBFMP的学习和训练 490

12.4.5 Robot 03仿真实验 491

章结 492

第13章　Hopfield网络 493

引言 493

13.1 Hopfield网络的体系结构和计算机制 494

13.1.1 DHN网络的定义 494

13.1.2　DHN神经元 495

13.1.3 DHN网络的结构解析 498

13.1.4 DHN网络的工作模式 500

13.2 Hopfield网络的稳定性及其能量函数 501

13.2.1 动力学系统 501

13.2.2 Lyapunov稳定性定理与Lyapunov函数 506

13.2.3 DHN网络的能量函数 507

13.2.4 DHN网络的稳定性 509

13.2.5 DHN网络的联结形式与稳定状态 512

13.3 Hopfield网络的设计与学习 514

13.3.1 DHN网络的设计问题 514

13.3.2 DHN网络与Hebb学习 515

13.3.3 DHN网络的伪逆投影设计法 517

13.3.4 DHN网络的吸引子和吸引域 518

13.3.5 DHN网络的记忆容量问题 522

13.4 连续型Hopfield网络 525

13.4.1 CHN网络的数学描述 526

13.4.2 CHN网络的稳定性 526

13.4.3 CHN神经电路的实现 528

13.5 双向联想记忆模型 528

13.5.1 BAM模型的数学描述 529

13.5.2 BAM模型的结构解析 530

13.5.3 BAM模型设计 532

13.5.4 BAM模型的能量函数与稳定性 533

13.6 Hopfield网络与联想记忆 534

13.6.1 Hamming空间与线性联想记忆 535

13.6.2 Hopfield网络与影像记忆 536

13.6.3 BAM模型与“血型—颜色”联想 538

13.7 Hopfield网络与优化计算 540

13.7.1　数值编码与数值计算 541

13.7.2　动态系统的最优控制问题 542

13.7.3　组合优化：TSP问题 544

13.8 Hopfield网络与Wiener机器蠕虫 548

13.8.1 Wiener机器蠕虫 548

13.8.2 Wiener机器蠕虫的实现 549

13.8.3 M.Worm的脑：一个2阶CHN网络 550

章结 551

第14章　Boltzmann机 553

引言 553

14.1　统计物理学与能量和信息 554

14.1.1　Boltzmann-Gibbs分布与随机动态 554

14.1.2 自由能与熵 555

14.1.3　退火（Annealing） 556

14.1.4　熵与信息 557

14.2 Boltzmann机的体系结构 558

14.2.1 Boltzmann机的定义 558

14.2.2 BLT神经元 559

14.2.3 Boltzmann机的一般结构 563

14.2.4 Boltzmann机的I/O结构 564

14.3 Boltzmann机的运行机制 564

14.3.1 Mante Carlo方法 565

14.3.2 Metropolis算法 567

14.3.3 模拟退火算法 568

14.3.4 Boltzmann机的工作算法 570

14.3.5 Boltzmann机的平衡状态与稳定性 571

14.4 Boltzmann学习 573

14.4.1 基于极大似然原理的Boltzmann学习 573

14.4.2 相对信息熵意义下的Boltzmann学习 576

14.4.3 Boltzmann机I/O结构中的学习 578

14.5 平均场理论与确定型Boltzmann机 579

14.5.1 平均场理论 579

14.5.2 确定型和连续型Boltzmann机 580

14.5.3 平均场学习算法 581

14.6 Boltzmann机与计算 582

14.6.1 Boltzmann机学习XOR逻辑 582

14.6.2 Boltzmann机与联想记忆 584

14.6.3 Boltzmann机与优化计算 588

14.7 Boltzmann机与Walter机器龟 591

14.7.1 Walter机器龟 591

14.7.2 M.Docilis新的实现 593

14.7.3 M.Docilis“感知—行动”机能的形成 595

章结 596

第15章 自组织特征图 597

引言 597

15.1 SOM图的神经生理学意义 598

15.1.1　大脑皮质及其二维特征 599

15.1.2　侧抑制联结与竞争 600

15.1.3 生物神经系统中的SOM图 601

15.2 SOM图的体系结构 603

15.2.1 SOM图的定义 603

15.2.2 SOM神经元 605

15.2.3 SOM图的一般结构 606

15.3 SOM图的运行机制 608

15.3.1 SOM图竞争机制 608

15.3.2 SOM图协同机制 609

15.3.3 SOM图自适应机制 611

15.3.4 SOM图自组织运行算法 612

15.3.5 SOM图的功能和特性 614

15.3.6 时间连续的SOM图 616

15.4 SOM图与拓扑映射 617

15.4.1　表达拓扑特征映射关系 617

15.4.2　压缩数据空间维数 620

15.4.3　“银河系星体分布”特征图 621

15.5 SOM图与TSP问题 622

15.5.1 SOM图求解TSP问题的基本原理 622

15.5.2 SOM环生长算法 623

15.5.3 SOM环求解TSP问题 624

15.6 SOM图与机器人路径规划 625

15.6.1　巡视障碍环境的机器人：Robot 04 625

15.6.2 学习环境地形的SOM图 626

15.6.3　基于SOM图进行路径规划 627

章结 628

第16章　自适应谐振理论与ART系统 629

引言 629

16.1　生物视神经系统的启示 630

16.1.1 眼与视网膜及视觉通道 630

16.1.2　神经节细胞的接收域 631

16.1.3　感知和注意及视觉信息流 632

16.1.4　视觉范化与亮度对比 633

16.2 Grossberg网络：模拟视觉系统 634

16.2.1 GBN网络的定义 635

16.2.2 GBN神经元 637

16.2.3 GBN网络的结构解析 640

16.2.4 GBN网络感受层：输入范化 641

16.2.5 GBN网络反应层：对比增强 642

16.2.6 GBN学习：一种竞争学习机制 645

16.2.7 GBN网络与万能编码 647

16.3 自适应谐振理论 648

16.3.1 S P二难问题 648

16.3.2 生物神经系统中的自适应谐振现象 649

16.3.3 ART结构 651

16.3.4 ART系统中的模式匹配 652

16.3.5 自稳定的ART学习 654

16.3.6　增益控制与2/3规则 656

16.4.1 ART1系统的定义 657

16.4　自适应谐振理论的实现之一：ART1 657

16.4.2 ART1神经元 660

16.4.3 ART1系统的结构解析 663

16.4.4 ART1系统的注意子系统 664

16.4.5 ART1系统的定向子系统 669

16.4.6 ART1系统的学习子系统 672

16.4.7 ART1系统的等效实现 675

16.4.8 ART1系统的神经计算功能 677

16.5 自适应谐振理论的实现之二：ART2 681

16.5.1 ART2系统的定义 682

16.5.2 ART2系统的体系结构 684

16.5.3 ART2系统的注意子系统 686

16.5.4 ART2系统的定向子系统 687

16.5.5 ART2系统的学习子系统 689

16.5.6 ART2系统的等效实现 690

16.5.7 ART2系统的神经计算功能 692

16.6 ART系统与机器人的“感知—行动” 694

16.6.1 机器人Robot 05与迷宫 694

16.6.2 Robot 05的人工脑 696

16.6.3 Robot 05的仿真实验 698

章结 700

结束语 神经计算到底能做什么？ 702

C.1 Turing机与Church-Turing论断 703

C.2 Turing机与Von Neumann机 704

C.3 Turing机与神经计算 705

C.4 神经计算机 709

C.5 简略的回顾与展望 711

参考文献 714

附录 索引 735