第1章 从数据到模型：理解生物学、生态学和自然系统的复杂性和挑战 1
1.1概述 1
1.2本书安排 3
参考文献 5
第2章 神经网络基础和线性数据分析模型 9
2.1概述 9
2.2神经网络及其能力 9
2.3生物学的启示 13
2.4神经元信息处理的建模 15
2.5神经元模型和学习策略 15
2.5.1作为一个简单分类器的阈值神经元 16
2.5.2神经元和神经集合的学习模型 19
2.5.2.1Hebbian学习 19
2.5.2.2无监督学习或竞争学习 20
2.5.2.3有监督学习 21
2.5.3作为分类器的有监督学习的感知器 21
2.5.3.1感知器学习算法 22
2.5.3.2基于大量现实数据集的感知器实例：根据测定的成长年轮直径辨识鱼的起源 28
2.5.3.3统计学中带有线性判别函数分析的感知器比较 30
2.5.3.4多种类分类中的多输出感知器 31
2.5.3.5使用感知器的高维分类 35
2.5.3.6感知器小结 36
2.5.4用于线性分类和预报的线性神经元 36
2.5.4.1利用delta规则的学习 37
2.5.4.2作为分类器的线性神经元 40
2.5.4.3作为预报能力子集的线性神经元的分类属性 42
2.5.4.4实例：作为预报器的线性神经元 43
2.5.4.5线性预报的实例：预报一个家庭的热流 48
2.5.4.6线性神经元模型与线性回归的比较 48
2.5.4.7实例：多输入线性神经元模型——提高一个家庭的热流预报精确度 49
2.5.4.8一个多输入线性神经元与多重线性回归的比较 49
2.5.4.9多线性神经元模型 50
2.5.4.10多重线性神经网络与正则相关性分析的比较 50
2.5.4.11线性神经元和线性网络小结 50
2.6小结 51
习题 51
参考文献 52
第3章 用于非线性模式识别的神经网络 54
3.1概述 54
3.2非线性神经元 56
3.2.1神经元激励函数 57
3.2.1.1S形函数 57
3.2.1.2高斯函数 58
3.2.2实例：利用非线性神经元对人口增长建模 59
3.2.3非线性神经元与非线性回归分析的比较 61
3.3单输入多层非线性网络 61
3.3.1用单一非线性隐含层神经元处理 61
3.3.2实例：用多非线性神经元建立循环现象模型 65
3.3.2.1实例1：逼近一个方波 66
3.3.2.2实例2：为物种的季节性迁移建立模型 71
3.4两输入的多层感知器网络 74
3.4.1用非线性神经元处理二维输入 75
3.4.2网络输出 78
3.4.3实例：二维预报和分类 79
3.4.3.1实例1：二维非线性函数逼近 79
3.4.3.2实例2：二维非线性分类模型 80
3.5用非线性多层感知器网络为多维数据建模 83
3.6小结 83
习题 84
参考文献 85
第4章 神经网络对非线性模式的学习 87
4.1概述 87
4.2非线性模式识别中网络的监督训练 87
4.3梯度下降法和误差最小化 88
4.4BP学习 89
4.4.1实例：BP训练——手工计算 90
4.4.1.1关于输出神经元权值的误差梯度 92
4.4.1.2关于隐含神经元权值的误差梯度 95
4.4.1.3梯度下降法在BP学习中的应用 98
4.4.1.4批量学习 98
4.4.1.5学习率和权值更新 100
4.4.1.6遍历（在线）学习 103
4.4.1.7动量法 103
4.4.2实例：BP学习的计算实验 106
4.4.3具有多隐含神经元的单输入单输出网络 109
4.4.4多输入、多隐含神经元和单输出网络 109
4.4.5多输入、多隐含神经元多输出网络 110
4.4.6实例：BP学习个案学习——解决一个复杂的分类问题 111
4.5delta-bar-delta学习方法 117
4.5.1实例：用delta-bar-delta的网络训练——手工计算 118
4.5.2实例：带有动量的delta-bar-delta方法——手工计算 120
4.5.3delta-bar-delta的网络训练——计算机实验 121
4.5.4delta-bar-delta方法和BP方法的比较 122
4.5.5实例：用delta-bar-delta方法的网络训练——一个案例研究 122
4.6最速下降法 125
4.6.1实例：用最速下降法的网络训练——手工计算 125
4.6.2实例：用最速下降法的网络训练——计算机实验 126
4.7误差最小和权值最优的二阶方法 127
4.7.1QuickProp 127
4.7.1.1实例：QuickProp的网络训练——手工计算 128
4.7.1.2实例：QuickProp的网络训练——计算机实验 129
4.7.1.3QuickProp与最速下降法、delta-bar-delta和BP方法的比较 130
4.7.2误差最小的二阶方法的基本概念 131
4.7.3高斯-牛顿方法 132
4.7.3.1采用高斯-牛顿方法的网络训练——手工计算 134
4.7.3.2实例：采用高斯-牛顿方法的网络训练——计算机实验 136
4.7.4LM方法 137
4.7.4.1实例：用LM方法的网络训练——手工计算 138
4.7.4.2用LM方法的网络训练——计算机实验 139
4.7.5一阶和二阶方法在使误差最小效果上的比较 140
4.7.6一阶和二阶学习方法收敛性的比较 141
4.7.6.1BP方法 142
4.7.6.2最速下降法 143
4.7.6.3高斯-牛顿方法 144
4.7.6.4LM方法 145
4.8小结 146
习题 146
参考文献 147
第5章 从数据中抽取可靠模式的神经网络模型的实现 148
5.1概述 148
5.2偏差-方差折中 149
5.3改善神经网络的泛化 149
5.3.1及早停止法的说明 150
5.3.1.1任意初始权值的影响 154
5.3.1.2训练好网络的权值结构 156
5.3.1.3随机采样的影响 157
5.3.1.4模型复杂性的影响：隐含神经元的数目 161
5.3.1.5及早停止法小结 163
5.3.2正规化法 164
5.4通过修剪减小网络结构的复杂性 169
5.4.1最优脑部损伤（OBD） 170
5.4.2基于网络灵敏度方差的网络修剪 175
5.4.2.1修剪权值的方差无效性应用的阐述 177
5.4.2.2基于灵敏度的方差无效性修剪隐含神经元 179
5.5网络对权值扰动的鲁棒性 181
5.6小结 184
习题 185
参考文献 185
第6章 数据探测、维数约简和特征提取 187
6.1概述 187
6.1.1实例：关于相关输入数据的木头的热导率 188
6.2数据可视化 189
6.2.1散点图和柱状图的相关性 189
6.2.2并行可视化 190
6.2.3多维数据到二维平面的映射 190
6.3变量间的相关性与协方差 191
6.4数据的规范化 193
6.4.1标准化 193
6.4.2简单值域调整 194
6.4.3白化——多维相关数据的规范化 194
6.5选择相关输入 197
6.5.1用于变量选择的统计手段 198
6.5.1.1偏相关 198
6.5.1.2多元回归与最优子集回归 199
6.6维数约简与特征析取 200
6.6.1多重共线性 200
6.6.2主成分分析 200
6.6.3偏最小二乘回归 204
6.7异常点检测 205
6.8噪声 206
6.9个案研究：阐述一个实际问题的输入选择和维数约简 206
6.9.1数据预处理和初步建模 207
6.9.2基于PCA的神经网络建模 210
6.9.3隐含神经元对非基于PCA方法和基于PCA方法的影响 213
6.9.4案例研究小结 214
6.10小结 214
习题 215
参考文献 215
第7章 使用贝叶斯统计的神经网络模型的不确定性评估 217
7.1概述 217
7.2利用贝叶斯统计评估权值的不确定性 218
7.2.1质量判据 219
7.2.2结合贝叶斯统计估计权值不确定性 220
7.2.3多元输出的目标固有不确定性 223
7.2.4权值的概率密度函数 224
7.2.5用于阐述权值分布产生的实例 226
7.3使用贝叶斯统计评估神经网络输出的不确定性 230
7.3.1阐述输出误差不确定性的实例 230
7.3.1.1总的网络输出误差 231
7.3.1.2误差相关性和协方差矩阵 231
7.3.1.3误差协方差的统计分析 231
7.3.1.4总输出误差分解为模型误差和固有噪声 233
7.4评估网络输出对输入的灵敏度 237
7.4.1确定反馈网络里输入对输出影响的方法 237
7.4.1.1基于权值大小的方法 237
7.4.1.2灵敏度分析 238
7.4.2实例：评估输入对输出影响的方法的比较 238
7.4.3灵敏度的不确定性 239
7.4.4阐述网络对输入灵敏度的不确定性评估实例 240
7.4.4.1输入和输出的PCA分解 240
7.4.4.2基于PCA的神经网络回归 244
7.4.4.3神经网络灵敏度 246
7.4.4.4输入灵敏度的不确定性 247
7.4.4.5PCA调整的雅可比 251
7.4.4.6案例研究小结 254
7.5小结 255
习题 255
参考文献 256
第8章 应用自组织映射的方法发现数据中的未知聚类 258
8.1概述 258
8.2无监督网络的结构 259
8.3无监督网络的学习过程 260
8.4竞争学习过程的实施 260
8.4.1基于神经元激励的获胜者选择 261
8.4.2基于对输入向量距离的获胜者选择 261
8.4.3竞争学习例子 263
8.4.3.1回归学习和批量学习的比较 264
8.4.3.2对获胜者选择中所涉及的计算的说明 264
8.4.3.3网络训练 266
8.5自组织特性映射 268
8.5.1自组织映射网络中的学习过程 268
8.5.1.1邻域几何形状的选择 269
8.5.1.2自组织映射的训练 269
8.5.1.3邻点强度 269
8.5.1.4例子：训练具有邻域特性的自组织网络 270
8.5.1.5邻接矩阵和从获胜者到邻点之间的距离 272
8.5.1.6随着迭代缩减邻域的尺寸 274
8.5.1.7学习率衰减 276
8.5.1.8包含学习率和邻域衰减后的权值更新 276
8.5.1.9递归和批量训练与K平均值聚类的关系 276
8.5.1.10自组织映射训练中的两个阶段 277
8.5.1.11例子：通过手工计算说明自组织映射学习 277
8.5.1.12SOM实例研究：结合牛奶品质对牛奶场的奶牛群乳腺炎状况进行判断 283
8.5.2二维自组织映射的实例：基于鱼鳞年轮的直径对加拿大和阿拉斯加鲑鱼进行聚类 286
8.5.2.1映射结构和初始化 286
8.5.2.2映射训练 287
8.5.2.3U矩阵 293
8.5.3映射初始化 294
8.5.4实例：在多维数据上训练二维映射 295
8.5.4.1数据可视化 295
8.5.4.2映射结构和训练 296
8.5.4.3U矩阵 301
8.5.4.4由映射捕获的输入概率密度的点估计 301
8.5.4.5量化误差 303
8.5.4.6从映射中对输入数据检索的精确性 304
8.5.5在映射上形成聚类 305
8.5.5.1聚类的方法 306
8.5.5.2在训练过的映射上说明聚类的实例 307
8.5.5.3通过Ward方法在映射上寻找最优化的聚类 310
8.5.5.4通过K平均值聚类去寻找最优聚类 312
8.5.6对训练过的映射的确认 314
8.5.6.1n-折交叉确认 316
8.6进化的自组织映射 319
8.6.1映射的成长的细胞结构 320
8.6.1.1将输入数据投射到映射上的神经元之间的位置的质心方法 323
8.6.2通过控制的成长进行动态自组织映射（GSOM） 325
8.6.2.1实例：动态自组织映射的应用 328
8.6.3进化树 333
8.7小结 337
习题 337
参考文献 339
第9章 神经网络在时间序列预测中的应用 341
9.1概述 341
9.2应用统计模型和神经网络模型进行时间序列线性预测 343
9.2.1实例研究：炉温控制 345
9.2.1.1多步超前线性预测 347
9.3用于非线性时间序列预测的神经网络 348
9.3.1聚焦时间滞后和动态驱动的递归网络 349
9.3.1.1聚焦时间滞后前馈网络 350
9.3.1.2时空时间滞后网络 351
9.3.2例子：时空时间滞后网络——炉内温度调节 354
9.3.2.1通过神经元NARx模型进行单步预测 355
9.3.2.2通过神经元NARx模型进行多步预测 356
9.3.3实例研究：河水流量预测 358
9.3.3.1河流流量预测的线性模型 361
9.3.3.2对于河水流量预测的非线性神经元NARx模型 363
9.3.3.3输入敏感度 367
9.4混合线性（ARIMA）和非线性神经网络模型 369
9.4.1实例研究：对每年太阳黑子数量的预测 370
9.5运用最简化结构概念进行网络结构的自泛化 371
9.5.1实例研究：应用自泛化神经网络模型预测空气污染 372
9.6广义神经网络 375
9.6.1实例研究：应用一般神经网络进行短期负荷预测 379
9.7动态驱动递归网络 381
9.7.1具有隐含神经元反馈的递归网络 382
9.7.1.1封装长期记忆 382
9.7.1.2Elman网络的结构和实施 383
9.7.1.3训练递归网络 385
9.7.1.4网络训练实例：手工计算 389
9.7.1.5递归学习网络应用实例研究：降雨量流量模型 393
9.7.1.6递归网络的两步超前预测 396
9.7.1.7实时递归学习结构实例研究：两步超前河流流量预测 397
9.7.2有输出反馈的递归网络 399
9.7.2.1在有输出反馈的递归网络中封装长期记忆 399
9.7.2.2有输出、误差反馈和外生输入的递归网络（NARIMAx）的应用：短期温度预测 401
9.7.2.3具有输出反馈的递归网络的训练 404
9.7.3完全递归网络 405
9.7.3.1完全递归网络应用实例研究：短期电力负荷预测 407
9.8时间序列预测中的偏差和方差 409
9.8.1将全部误差分解为偏差分量和方差分量 410
9.8.2实例：对偏差-方差分离的说明 411
9.9长期预测 417
9.9.1实例研究：用多神经网络（MNN）进行长期预测 419
9.10时间序列预测的输入选择 421
9.10.1从非线性非独立变量中进行输入选择 423
9.10.1.1偏交互信息方法 423
9.10.1.2广义回归神经网络 424
9.10.1.3对于输入选择的自组织映射 426
9.10.1.4输入选择的遗传算法 427
9.10.2时间序列预测输入选择方法的实际应用 430
9.10.3输入选择实例研究：对于预测河流含盐度的输入选择 432
9.11小结 435
习题 437
参考文献 438
附录 440
A.1线性代数、向量、矩阵 440
A.2矩阵 442
参考文献 444