第0章 导言 1
0.1什么是神经网络 1
0.2人类大脑 4
0.3神经元模型 7
0.4被看作有向图的神经网络 10
0.5反馈 11
0.6网络结构 13
0.7知识表示 14
0.8学习过程 20
0.9学习任务 22
0.10结束语 27
注释和参考文献 27
第1章Rosenblatt感知器 28
1.1引言 28
1.2感知器 28
1.3感知器收敛定理 29
1.4高斯环境下感知器与贝叶斯分类器的关系 33
1.5计算机实验：模式分类 36
1.6批量感知器算法 38
1.7小结和讨论 39
注释和参考文献 39
习题 40
第2章 通过回归建立模型 28
2.1引言 41
2.2线性回归模型：初步考虑 41
2.3参数向量的最大后验估计 42
2.4正则最小二乘估计和MAP估计之间的关系 46
2.5计算机实验：模式分类 47
2.6最小描述长度原则 48
2.7固定样本大小考虑 50
2.8工具变量方法 53
2.9小结和讨论 54
注释和参考文献 54
习题 55
第3章 最小均方算法 56
3.1引言 56
3.2 LMS算法的滤波结构 56
3.3无约束最优化：回顾 58
3.4维纳滤波器 61
3.5最小均方算法 63
3.6用马尔可夫模型来描画 LMS算法和维纳滤波器的偏差 64
3.7朗之万方程：布朗运动的特点 65
3.8 Kushner直接平均法 66
3.9小学习率参数下统计LMS学习理论 67
3.10计算机实验I：线性预测 68
3.11计算机实验Ⅱ：模式分类 69
3.12 LMS算法的优点和局限 71
3.13学习率退火方案 72
3.14小结和讨论 73
注释和参考文献 74
习题 74
第4章 多层感知器 77
4.1引言 77
4.2一些预备知识 78
4.3批量学习和在线学习 79
4.4反向传播算法 81
4.5异或问题 89
4.6改善反向传播算法性能的试探法 90
4.7计算机实验：模式分类 94
4.8反向传播和微分 95
4.9 Hessian矩阵及其在在线学习中的规则 96
4.10学习率的最优退火和自适应控制 98
4.11泛化 102
4.12函数逼近 104
4.13交叉验证 107
4.14复杂度正则化和网络修剪 109
4.15反向传播学习的优点和局限 113
4.16作为最优化问题看待的监督学习 117
4.17卷积网络 126
4.18非线性滤波 127
4.19小规模和大规模学习问题 131
4.20小结和讨论 136
注释和参考文献 137
习题 138
第5章 核方法和径向基函数网络 144
5.1引言 144
5.2模式可分性的Cover定理 144
5.3插值问题 148
5.4径向基函数网络 150
5.5 K-均值聚类 152
5.6权向量的递归最小二乘估计 153
5.7 RBF网络的混合学习过程 156
5.8计算机实验：模式分类 157
5.9高斯隐藏单元的解释 158
5.10核回归及其与RBF网络的关系 160
5.11小结和讨论 162
注释和参考文献 164
习题 165
第6章 支持向量机 168
6.1引言 168
6.2线性可分模式的最优超平面 168
6.3不可分模式的最优超平面 173
6.4使用核方法的支持向量机 176
6.5支持向量机的设计 178
6.6 XOR问题 179
6.7计算机实验：模式分类 181
6.8回归：鲁棒性考虑 184
6.9线性回归问题的最优化解 184
6.10表示定理和相关问题 187
6.11小结和讨论 191
注释和参考文献 192
习题 193
第7章 正则化理论 197
7.1引言 197
7.2良态问题的Hadamard条件 198
7.3 Tikhonov正则化理论 198
7.4正则化网络 205
7.5广义径向基函数网络 206
7.6再论正则化最小二乘估计 209
7.7对正则化的附加要点 211
7.8正则化参数估计 212
7.9半监督学习 215
7.10流形正则化：初步的考虑 216
7.11可微流形 217
7.12广义正则化理论 220
7.13光谱图理论 221
7.14广义表示定理 222
7.15拉普拉斯正则化最小二乘算法 223
7.16用半监督学习对模式分类的实验 225
7.17小结和讨论 227
注释和参考文献 228
习题 229
第8章 主分量分析 232
8.1引言 232
8.2自组织原则 232
8.3自组织的特征分析 235
8.4主分量分析：扰动理论 235
8.5基于Hebb的最大特征滤波器 241
8.6基于Hebb的主分量分析 247
8.7计算机实验：图像编码 251
8.8核主分量分析 252
8.9自然图像编码中的基本问题 256
8.10核Hebb算法 257
8.11小结和讨论 260
注释和参考文献 262
习题 264
第9章 自组织映射 268
9.1引言 268
9.2两个基本的特征映射模型 269
9.3自组织映射 270
9.4特征映射的性质 275
9.5计算机实验I：利用SOM解网格动力学问题 280
9.6上下文映射 281
9.7分层向量量化 283
9.8核自组织映射 285
9.9计算机实验Ⅱ：利用核SOM解点阵动力学问题 290
9.10核SOM和相对熵之间的关系 291
9.11小结和讨论 293
注释和参考文献 294
习题 295
第10章 信息论学习模型 299
10.1引言 299
10.2熵 300
10.3最大熵原则 302
10.4互信息 304
10.5相对熵 306
10.6系词 308
10.7互信息作为最优化的目标函数 310
10.8最大互信息原则 311
10.9最大互信息和冗余减少 314
10.10空间相干特征 316
10.11空间非相干特征 318
10.12独立分量分析 320
10.13自然图像的稀疏编码以及与ICA编码的比较 324
10.14独立分量分析的自然梯度学习 326
10.15独立分量分析的最大似然估计 332
10.16盲源分离的最大熵学习 334
10.17独立分量分析的负熵最大化 337
10.18相关独立分量分析 342
10.19速率失真理论和信息瓶颈 347
10.20数据的最优流形表达 350
10.21计算机实验：模式分类 354
10.22小结和讨论 354
注释和参考文献 356
习题 361
第11章 植根于统计力学的随机方法 366
11.1引言 366
11.2统计力学 367
11.3马尔可夫链 368
11.4 Metropolis算法 374
11.5模拟退火 375
11.6 Gibbs抽样 377
11.7 Boltzmann机 378
11.8 logistic信度网络 382
11.9深度信度网络 383
11.10确定性退火 385
11.11和EM算法的类比 389
11.12小结和讨论 390
注释和参考文献 390
习题 392
第12章 动态规划 396
12.1引言 396
12.2马尔可夫决策过程 397
12.3 Bellman最优准则 399
12.4策略迭代 401
12.5值迭代 402
12.6逼近动态规划：直接法 406
12.7时序差分学习 406
12.8 Q-学习 410
12.9逼近动态规划：非直接法 412
12.10最小二乘策略评估 414
12.11逼近策略迭代 417
12.12小结和讨论 419
注释和参考文献 421
习题 422
第13章 神经动力学 425
13.1引言 425
13.2动态系统 426
13.3平衡状态的稳定性 428
13.4 吸引子 432
13.5神经动态模型 433
13.6作为递归网络范例的吸引子操作 435
13.7 Hopfield模型 435
13.8 Cohen-Grossberg定理 443
13.9盒中脑状态模型 445
13.10奇异吸引子和混沌 448
13.11混沌过程的动态重构 452
13.12小结和讨论 455
注释和参考文献 457
习题 458
第14章 动态系统状态估计的贝叶斯滤波 461
14.1引言 461
14.2状态空间模型 462
14.3卡尔曼滤波器 464
14.4发散现象及平方根滤波 469
14.5扩展的卡尔曼滤波器 474
14.6贝叶斯滤波器 477
14.7数值积分卡尔曼滤波器：基于卡尔曼滤波器 480
14.8粒子滤波器 484
14.9计算机实验：扩展的卡尔曼滤波器和粒子滤波器对比评价 490
14.10大脑功能建模中的卡尔曼滤波 493
14.11小结和讨论 494
注释和参考文献 496
习题 497
第15章 动态驱动递归网络 501
15.1引言 501
15.2递归网络体系结构 502
15.3通用逼近定理 505
15.4 可控性和可观测性 507
15.5递归网络的计算能力 510
15.6学习算法 511
15.7通过时间的反向传播 512
15.8实时递归学习 515
15.9递归网络的消失梯度 519
15.10利用非线性逐次状态估计的递归网络监督学习框架 521
15.11计算机实验：Mackay-Glass吸引子的动态重构 526
15.12自适应考虑 527
15.13实例学习：应用于神经控制的模型参考 529
15.14小结和讨论 530
注释和参考文献 533
习题 534
参考文献 538