第1章 绪论 1
1.1无限精度与有限精度 1
1.2有限精度设计理论研究的意义 2
1.3有限精度设计理论研究的背景与动机 3
1.3.1模拟系统 3
1.3.2数字系统 4
1.3.3神经网络系统 5
1.4有限精度设计理论研究的状况与趋势 6
1.5有限精度设计理论研究的主要内容 7
1.6本书内容安排 9
参考文献 11
第2章 信号处理系统有限精度设计理论基础 14
2.1信号及其分类 14
2.1.1信号与映射 14
2.1.2连续信号与离散信号 14
2.1.3确定性信号与随机信号 15
2.1.4确定性能量有限信号 15
2.2系统及其分类 16
2.2.1连续系统与模拟系统 16
2.2.2离散系统与数字系统 18
2.2.3神经计算系统 19
2.3有关灵敏度的概念和定理 23
2.3.1Telegen定理 23
2.3.2互易的和交相互易的网络 25
2.3.3灵敏度 26
2.4本章小结 30
参考文献 31
第3章 神经网络基础 32
3.1概述 32
3.2神经元模型 32
3.2.1神经元结构 32
3.2.2神经元的运算 33
3.2.3神经元的活动函数 35
3.2.4神经元的内部反馈 36
3.3神经网络的基本结构 38
3.3.1网络功能层次结构 38
3.3.2网络拓扑结构 39
3.4神经网络的学习与功能神经网络 43
3.4.1学习方法分类 43
3.4.2误差后向传播网络 45
3.4.3反馈联想网络 48
3.4.4竞争网络 52
3.4.5自适应共振网络 56
3.4.6其它网络 57
3.5神经网络计算的统一处理 58
3.6一般多层前向网络与双并联前向网络 58
3.6.1网络结构 58
3.6.2工作原理 61
3.6.3映射功能与误差曲面 63
3.6.4学习 64
3.6.5双并联前向网络的误差后向传播学习算法 73
3.7本章小结 85
参考文献 86
第4章 低灵敏度模拟滤波器设计理论 88
4.1概述 88
4.2模拟滤波器的实现结构 88
4.2.1直接实现 89
4.2.2串联实现 89
4.2.3并联实现 91
4.3零点、极点与参数灵敏度 92
4.3.1系统的零点与极点 93
4.3.2系统极点对系数的灵敏度 93
4.3.3系统零点对系数的灵敏度 95
4.3.4ωJ,QJ对参数的灵敏度 96
4.4可调滤波网络的双二次模型 98
4.4.1分析模型 99
4.4.2构造模型 100
4.5可调双二阶网络的灵敏度分析 102
4.5.1一组新的四端口参数 102
4.5.2传递函数 104
4.5.3可调双二阶网络的灵敏度分析与最低灵敏度准则 106
4.6并联与串联网络的灵敏度 115
4.6.1并联网络的灵敏度 115
4.6.2串联网络的灵敏度 117
4.7可调最低灵敏度网络的设计与实现 118
4.7.1低灵敏度二阶网络的设计 118
4.7.2基于运算放大器的设计实例 122
4.7.3基于可调跨导器件的设计 125
4.8SPICE集成电路软件仿真 128
4.9本章小结 131
参考文献 132
第5章 数字信号处理系统有限精度设计理论 133
5.1概述 133
5.2信号的二进制表示及其误差 136
5.2.1定点表示 136
5.2.2浮点表示 138
5.2.3舍入与截尾误差 139
5.3模数转换器的量化效应 143
5.3.1模数转换器的取样与量化 143
5.3.2量化的统计表示 144
5.3.3等效的输入量化误差 147
5.4I/O表示的数字滤波器对系数的有限精度效应 148
5.4.1极点、零点对系数变化的灵敏度 149
5.4.2零、极点网格图 152
5.5定点运算数字滤波器的有限精度效应 157
5.5.1概述 157
5.5.2IIR滤波器中的零输入极限环 158
5.5.3舍入误差的统计分析 162
5.5.4溢出误差的统计分析 180
5.6浮点运算数字滤波器的有限精度效应 186
5.7DFT计算中的有限精度效应 190
5.7.1直接DFT计算过程中量化效应分析 191
5.7.2定点FFT中的有限精度效应 194
5.7.3浮点FFT中的有限精度效应 202
5.7.4系数量化对FFT的影响 205
5.8线性调频Z变换的有限精度效应 207
5.9状态空间数字滤波器的低灵敏度设计 211
5.9.1离散线性移不变系统的状态方程 211
5.9.2状态方程系统的灵敏度 212
5.9.3Lp范数灵敏度与均方误差 214
5.9.4H（z）对系数矩阵的L2灵敏度 217
5.9.5L2灵敏度的Gramian矩阵 222
5.9.6L2/L1灵敏度的改进 227
5.9.7L2灵敏度模型的化简 230
5.10本章小结 233
参考文献 236
第6章 无限与有限精度神经网络 238
6.1概述 238
6.1.1神经网络有限精度设计理论的研究动机 238
6.1.2神经网络有限精度设计理论研究的发展状况与趋势 239
6.2神经网络有限精度统计模型 241
6.3无限精度神经网络模型 243
6.4有限精度神经网络模型 244
6.5权矢量的统计模型 246
6.6输入矢量的统计模型 247
6.7权误差与输入误差的统计模型 247
6.8分析中的其它考虑 248
6.9本章小结 249
参考文献 250
第7章 分段线性神经网络的量化效应 253
7.1概述 253
7.2输入、权值的量化表示 253
7.3隐层有限精度效应分析 255
7.4一般层有限精度效应分析 261
7.5输入编码的影响 262
7.6双并联前向神经网络有限精度效应分析 264
7.7信噪比分析 265
7.8位数对各层的影响 267
7.9本章小结 269
参考文献 269
第8章 多层前向神经网络的灵敏度分析 271
8.1概述 271
8.2多层前向神经网络权灵敏度分析——一元函数线性近似 271
8.2.1非线性活动函数的处理 271
8.2.2符号与意义 272
8.2.3输出对权扰动的统计灵敏度定义 273
8.2.4权扰动造成的输出误差 274
8.2.5对加性权扰动的灵敏度 276
8.2.6对乘性权扰动的灵敏度 278
8.2.7对输入扰动的灵敏度 280
8.2.8对单层权扰动的灵敏度 281
8.2.9讨论 282
8.3多层前向神经网络权灵敏度分析——多元函数线性近似法 283
8.3.1多元非线性函数线性化 283
8.3.2网络对加性权扰动的灵敏度 285
8.3.3网络对乘性权扰动的灵敏度 288
8.4范数灵敏度 290
8.4.1输出／输入导数矩阵 290
8.4.2输出／输入导数矩阵的范数灵敏度 291
8.4.3输出／权导数矩阵 293
8.4.4输出对权导数矩阵的范数灵敏度 293
8.5降低灵敏度的方法 295
8.5.1降低权灵敏度 295
8.5.2降低输入灵敏度 296
8.6本章小结 296
参考文献 297
第9章 连续活动函数神经网络的噪信比 298
9.1概述 298
9.2单神经元的输出噪信比 298
9.2.1单神经元的输出误差 299
9.2.2单神经元输出误差的方差与输出噪信比 300
9.3多层前向神经网络的输出噪信比 303
9.3.1概述 303
9.3.2第一层神经元的输出误差方差 304
9.3.3第一层神经元的输出噪信比 306
9.3.4噪信比增益函数 306
9.3.5其它层神经元的噪信比 309
9.4双并联前向神经网络的噪信比分析 311
9.5本章小结 316
参考文献 317
第10章 前向神经网络的误差界分析 318
10.1概述 318
10.2若干假设 318
10.3各层神经元总输入扰动的期望与方差界 320
10.3.1神经元总输入扰动的期望界 320
10.3.2神经元总输入扰动的方差界 321
10.3.3输出状态的期望界 322
10.4各层神经元输出的方差界 323
10.5本章小结 328
参考文献 329
第11章 有限精度神经网络学习算法 330
11.1概述 330
11.2归一化学习 330
11.3后向误差信号与误饱和 335
11.4导数修正法 341
11.5误差修正法 341
11.6纠错法 345
11.7基于灵敏度和凸值的修枝算法 346
11.8权值衰减法 348
11.9权扰动法 349
11.10其它方法 350
11.11本章小结 351
参考文献 351
第12章 多层前向网络映射能力与权值范围的关系及其仿真 354
12.1多层前向网络的逼近性能 354
12.1.1多层前向网络的逼近特性 354
12.1.2多层前向网络逼近算法特点 355
12.1.3三层前向网络逼近映射的描述性说明 356
12.2权值范围与映射性能 357
12.2.1大权值与小权值在网络中的不同作用 357
12.2.2三层网络中两层权值的联系 358
12.3权灵敏度分析 360
12.3.1选择表示灵敏度的量 361
12.3.2三层前向网络权灵敏度分析 362
12.3.3数值积分 365
12.3.4权值大小对隐层输出误差的影响 367
12.4隐层-输出层误差分析 368
12.5灵敏度分析与仿真 369
12.6本章小结 372
参考文献 373
第13章 有限精度神经网络的实现方法与仿真实验 374
13.1概述 374
13.2有限精度函数 377
13.3输入有限精度表示及其影响 378
13.4权值有限精度的影响 382
13.5节点输出值与非线性函数的有限精度效应 383
13.6权值修正量的有限精度影响 384
13.7全量化实现 386
13.8限制权值范围与变量增益 386
13.9有限精度神经网络的DSP实现与应用简介 388
13.10本章小结 389
参考文献 390
第14章 总结与展望 392
14.1回顾与一般性结论 392
14.2未来研究的发展方向 394