目录 1
前言 1
第一章 绪论 1
§1.1 概述 1
§1.1.1 神经元 3
§1.1.2 并行处理 7
§1.2 神经网络的研究简史 9
§1.3 神经网络的概念、定义与基本组成 15
§1.4 神经网络的研究范畴 19
§1.5 神经网络模型的一些研究方法 26
第二章 联想记忆的基本原理 33
§2.1 线性联想映射 35
§2.1.1 Kohonen模型 36
§2.1.2 利用最佳秩r-逼近的线性联想记忆 41
§2.1.3 最小平方联想记忆 43
§2.2 Hopfield联想记忆模型 44
§2.2.1 Hopfield模型连接权的确定 45
§2.2.2 Hopfield模型的存贮容量 50
§2.2.3 Hopfield联想记忆模型的匹配滤波器实现 55
§2.3 Hopfield模型中的一些稳定性问题 60
§2.3.1 稳定性和吸引性的概念 60
§2.3.2 能量函数 64
§2.3.3 保证稳定性的几个充分条件 67
§2.4 Hopfield模型的一些变形与推广 70
§2.4.1 Hopfield模型的几种变形 71
§2.4.2 非正交模式 76
§2.4.3 连续值单元 80
§2.4.4 模式的时态序列 87
第三章 联想记忆与模式识别的实用模型 93
§3.1 引入三态隐单元的Hopfield模型 93
§3.1.1 能量函数峰值的正交性 95
§3.1.2 样本存贮过程 96
§3.1.3 样本恢复过程 98
§3.2 Kanerva稀疏分布式联想记忆 100
§3.3 指数响应单元网络（ECAM） 106
§3.4 分形神经网络（FNN） 113
§3.4.1 网络结构 114
§3.4.2 信息的存贮和检索 114
§3.5 交替投影神经网络（APNN） 118
§3.6 元胞神经网络（CNN） 123
§3.7 双向联想记忆（BAM）模型 130
§3.7.1 BAM的结构 131
§3.7.2 简单BAM模型的性能分析 135
§3.7.3 BAM的应用实例 139
§3.8 BAM模型的改进 143
§3.8.1 BAM的多重训练算法 143
§3.8.2 具有指数容量的双向联想记忆 145
第四章 优化计算的神经网络方法 150
§4.1 加权匹配问题 152
§4.2 旅行售货员（TSP）问题 156
§4.2.1 Hopfield-Tank方法 157
§4.2.2 Hopfield-Tank方法的一种改进 159
§4.2.3 求解TSP的弹性网络方法 161
§4.2.4 N-皇后问题 163
§4.3 图划分问题 166
§4.3.1 图二分问题 167
§4.3.2 图划分问题 169
§4.4 动态规划（DPP）问题 170
§4.4.1 最优性原理 170
§4.4.2 动态规划的人工神经网络 172
§4.4.3 网络仿真 175
§4.5 求解优化问题的马尔可夫神经网络 177
§4.6 求解一般非线性优化问题的广义Hopfield网络 183
§4.6.1 无约束优化问题 183
§4.6.2 增广拉格朗日方法 186
§4.6.3 广义缩减梯度法 187
§4.6.4 逐次二次规划（SQP） 188
§4.7 优化计算神经网络的应用实例 191
§4.7.1 基于优化计算神经网络的模／数（A/D）转换器 191
§4.7.2 图象处理中的优化问题 195
第五章 感知器与Madaline的基本原理 204
§5.1 基本概念 205
§5.1.1 自适应线性组合器 207
§5.1.2 线性分类器——单阈值元件 208
§5.1.3 线性可分性 210
§5.1.4 非线性分类器 213
§5.2 误差校正规则 217
§5.2.1 线性规则 218
§5.2.2 非线性规则 219
§5.2.3 感知器学习规则的几何解释 222
§5.2.4 感知器学习规则的收敛性证明 225
§5.2.5 Madaline网络的误差校正规则 227
§5.3 线性单元与非线性单元 230
§5.3.1 线性单元 230
§5.3.2 非线性单元 236
§5.3.3 随机单元 238
§5.4 简单感知器的容量 240
§5.5 Madaline网络中的最陡下降学习 244
第六章 反向传播学习算法及其应用 249
§6.1 反向传播算法 250
§6.2 反向传播算法的修正与推广 256
§6.3 多层前传网络的性能 265
§6.3.1 多层前传网络的泛函能力与隐单元的必要个数 266
§6.3.2 输入表示问题 270
§6.3.3 推广（generalization） 272
§6.3.4 学习的复杂性问题 274
§6.4 关于推广的理论框架 276
§6.4.1 平均推广能力 277
§6.4.2 对差的推广概率的定界 283
§6.5 网络结构的优化 288
§6.5.1 修剪与权的衰减 289
§6.5.2 网络构造算法 292
§6.6 例子与应用 297
第七章 径向基函数网络 304
§7.1 径向基函数网络的基本原理 305
§7.1.1 用于插值的径向基函数 305
§7.1.2 用于模式识别的径向基函数 305
§7.1.3 RBF网络 309
§7.2 径向基函数网络的k-均值聚类算法 312
§7.3 径向基函数网络的正交最小平方学习算法 316
§7.3.1 RBF网络基函数中心选取的OLS方法 317
§7.3.2 RBF网络在通信信道均衡中的应用 322
§7.4 径向基函数插值的资源分配网络 325
§7.5 高斯条（Gaussian bar）函数网络 329
§7.6 径向基函数网络的推广 332
§7.6.1 关于RBF网络推广能力的讨论 332
§7.6.2 预测网络推广性质的基本方法 333
§7.6.3 改善RBF网络推广性质的一种方法 334
§7.7 与径向基函数类似的其它一些模式分类方法 337
§7.7.1 修正的Kanerva模型 337
§7.7.2 位函数法 339
§7.7.3 核判别式分析 339
§7.7.4 球面分级神经元网络 340
§7.7.5 概率神经网络 341
§7.8 径向基函数插值的正则化理论与正则化网络 344
§7.8.1 正则化理论的基本概念 344
§7.8.2 正则化网络 346
§7.8.3 正则化方法的推广——超基函数网络 348
§7.9 其他模式分类器简介 350
第八章 递归神经网络 354
§8.1 递归网络与递归反向传播 355
§8.1.1 递归网络的基本结构 355
§8.1.2 连续时间递归网络的递归反向传播算法 358
§8.1.3 连续时间递归网络的时变递归反向传播算法 364
§8.2 学习时间序列 367
§8.2.1 时延神经网络（TD）NN） 368
§8.2.2 部分递归网络 371
§8.2.3 随时间演化的反向传播（BPTT） 374
§8.3 递归网络的几种实时学习算法 376
§8.3.1 实时递归学习（RTRL） 376
§8.3.2 随时间演化反向传播的实时算法 379
§8.3.3 训练递归网络的广义卡尔曼滤波算法 382
§8.4 玻尔兹曼机 386
§8.4.1 随机单元 386
§8.4.2 Boltzmann机的一些推广 391
§8.4.3 确定性Boltzmann机 393
§8.5.1 所有概率分布的流形 394
§8.5 玻尔兹曼机的信息几何理论简介 394
§8.5.2 无隐单元的Boltzmann机 400
§8.6 强化学习 403
§8.6.1 联想赏-罚的基本概念 405
§8.6.2 联想赏-罚理论 408
§8.6.3 建模网络与评判网络 411
第九章 无监督Hebb学习 415
§9.1 概述 415
§9.1.1 有监督学习和无监督学习的区别 415
§9.1.2 无监督学习的意义 417
§9.2 无监督Hebb学习的基本原理 420
§9.2.1 关于线性神经元的一些结论 420
§9.2.2 无监督Hebb学习的Oja规则 423
§9.2.3 Oja规则的理论分析 425
§9.3 主分量分析（PCA）学习算法 428
§9.3.1 PCA的基本原理 428
§9.3.2 主分量分析的单层前传网络 432
§9.3.3 PCA学习的其它网络结构 439
§9.4 PCA学习的推广 443
§9.4.1 自适应主分量抽取算法 443
§9.4.2 次分量抽取与最优拟合 448
§9.4.3 其它与PCA有关的问题 457
§9.5 模式识别的子空间学习算法简介 458
§9.5.1 子空间模式识别原理 458
§9.5.2 双子空间模式识别 462
§9.6 自组织特征抽取 464
§9.6.1 自组织多层感知器 464
§9.6.2 仿真结果 468
§9.6.3 最大信息传输问题 470
第十章 无监督竞争学习 473
§10.1 简单的竞争学习 474
§10.1.1 赢者取全（WTA）的基本原理 474
§10.1.2 价值函数与收敛性 478
§10.2 竞争学习的例子与应用 480
§10.3 自适应共振理论 487
§10.3.1 稳定性-可塑性二难问题与ART的提出 488
§10.3.2 ART的基本原理 489
§10.3.3 ART用作分类器时的算法 496
§10.3.4 ART的一种简单网络实现 498
§10.4 特征映射的理论和应用 500
§10.4.1 概述 500
§10.4.2 特征映射的基本原理 503
§10.4.3 特征映射的理论分析 514
§10.5 认知机与新认知机 519
§10.5.1 增广Hebb规则 519
§10.5.2 认知机（The Cognition） 520
§10.5.3 新认知机（Neocognition） 522
§10.6 混合学习方案——后向传播网络 528