第1章 线性回归系统 1
1.1 引言 1
1.2 多新息辨识理论 1
1.2.1 什么是多新息辨识方法 2
1.2.2 变递推间隔多新息辨识方法 3
1.2.3 多新息辨识的重要文献与研究成果 3
1.3 多新息随机梯度辨识方法 5
1.3.1 随机梯度辨识算法 6
1.3.2 多新息随机梯度辨识算法 7
1.3.3 多新息随机梯度辨识方法的特点 11
1.3.4 仿真例子 12
1.4 多新息梯度类辨识方法 16
1.4.1 多新息投影辨识算法 16
1.4.2 多新息遗忘梯度算法 18
1.4.3 多新息广义投影算法 19
1.5 变递推间隔多新息梯度类辨识方法 19
1.5.1 变递推间隔多新息投影算法 21
1.5.2 变递推间隔多新息广义投影算法 24
1.5.3 变递推间隔多新息随机梯度算法 24
1.5.4 几个多新息梯度辨识方法 25
1.6 多新息最小二乘辨识方法 29
1.6.1 最小二乘辨识算法 29
1.6.2 递推最小二乘辨识算法 33
1.6.3 遗忘因子最小二乘辨识算法 35
1.6.4 多新息最小二乘辨识算法 40
1.7 多新息最小二乘类辨识方法 42
1.7.1 有限数据窗递推最小二乘辨识算法 43
1.7.2 变递推间隔多新息最小二乘辨识算法 44
1.7.3 几个多新息最小二乘辨识方法 46
1.8 小结 49
1.9 思考题 52
第2章 方程误差类系统 56
2.1 引言 56
2.2 受控自回归系统 59
2.3 受控自回归滑动平均系统 60
2.3.1 系统描述与辨识模型 60
2.3.2 增广随机梯度辨识方法 61
2.3.3 多新息增广随机梯度辨识方法 64
2.3.4 递推增广最小二乘辨识方法 67
2.3.5 多新息增广最小二乘辨识方法 68
2.4 受控自回归自回归系统 69
2.4.1 系统描述与辨识模型 69
2.4.2 广义随机梯度算法 71
2.4.3 多新息广义随机梯度算法 71
2.4.4 递推广义最小二乘算法 72
2.4.5 多新息广义最小二乘算法 73
2.5 受控自回归自回归滑动平均系统 73
2.5.1 系统描述与辨识模型 73
2.5.2 广义增广随机梯度算法 75
2.5.3 多新息广义增广随机梯度算法 77
2.5.4 递推广义增广最小二乘算法 78
2.5.5 多新息广义增广最小二乘算法 80
2.5.6 关于输出预报与模型验证 81
2.5.7 仿真例子 86
2.6 CARARMA系统的分解多新息辨识方法 94
2.6.1 系统描述与分解辨识模型 95
2.6.2 基于分解的广义增广随机梯度算法 96
2.6.3 基于分解的多新息广义增广随机梯度算法 98
2.6.4 基于分解的递推广义增广最小二乘算法 100
2.6.5 基于分解的多新息广义增广最小二乘算法 103
2.7 CARARMA系统的滤波多新息辨识方法 104
2.7.1 系统描述与滤波辨识模型 105
2.7.2 基于滤波的广义增广随机梯度算法 106
2.7.3 基于滤波的多新息广义增广随机梯度算法 110
2.7.4 基于滤波的递推广义增广最小二乘算法 112
2.7.5 基于滤波的多新息广义增广最小二乘算法 115
2.8 小结 117
2.9 思考题 117
第3章 输出误差类系统 122
3.1 引言 122
3.2 输出误差系统 124
3.2.1 系统描述与辨识模型 124
3.2.2 辅助模型随机梯度辨识方法 125
3.2.3 辅助模型多新息随机梯度辨识方法 129
3.2.4 辅助模型递推最小二乘辨识方法 132
3.2.5 辅助模型多新息最小二乘辨识方法 134
3.3 输出误差滑动平均系统 136
3.3.1 系统描述与辨识模型 136
3.3.2 辅助模型增广随机梯度辨识方法 138
3.3.3 辅助模型多新息增广随机梯度辨识方法 140
3.3.4 辅助模型递推增广最小二乘辨识方法 142
3.3.5 辅助模型多新息增广最小二乘辨识方法 145
3.3.6 仿真例子 147
3.4 输出误差自回归系统 157
3.4.1 系统描述与辨识模型 157
3.4.2 辅助模型广义随机梯度算法 159
3.4.3 辅助模型多新息广义随机梯度算法 160
3.4.4 辅助模型递推广义最小二乘算法 161
3.4.5 辅助模型多新息广义最小二乘算法 162
3.5 Box-Jenkins系统 164
3.5.1 系统描述与辨识模型 164
3.5.2 辅助模型广义增广随机梯度算法 166
3.5.3 辅助模型多新息广义增广随机梯度算法 169
3.5.4 辅助模型递推广义增广最小二乘算法 171
3.5.5 辅助模型多新息广义增广最小二乘算法 172
3.6 Box-Jenkins系统的分解多新息辨识方法 174
3.6.1 系统描述与分解辨识模型 174
3.6.2 基于分解的辅助模型广义增广随机梯度算法 175
3.6.3 基于分解的辅助模型多新息广义增广随机梯度算法 178
3.6.4 基于分解的辅助模型递推广义增广最小二乘算法 180
3.6.5 基于分解的辅助模型多新息广义增广最小二乘算法 183
3.7 OEAR系统的滤波多新息辨识方法 184
3.7.1 系统描述与滤波辨识模型 184
3.7.2 基于滤波的辅助模型广义随机梯度算法 186
3.7.3 基于滤波的辅助模型多新息广义随机梯度算法 188
3.7.4 基于滤波的辅助模型递推广义最小二乘算法 190
3.7.5 基于滤波的辅助模型多新息广义最小二乘算法 192
3.8 Box-Jenkins系统的滤波多新息辨识方法 194
3.8.1 Box-Jenkins系统描述与滤波辨识模型 194
3.8.2 基于滤波的辅助模型广义增广随机梯度算法 196
3.8.3 基于滤波的辅助模型多新息广义增广随机梯度算法 199
3.8.4 基于滤波的辅助模型广义增广递推最小二乘算法 202
3.8.5 基于滤波的辅助模型多新息广义增广最小二乘算法 203
3.9 小结 205
3.10 思考题 206
第4章 输入非线性方程误差系统 211
4.1 引言 211
4.2 基于过参数化模型的多新息辨识方法 214
4.2.1 系统描述与过参数化辨识模型 214
4.2.2 基于过参数化模型的随机梯度算法 216
4.2.3 基于过参数化模型的多新息随机梯度算法 217
4.2.4 基于过参数化模型的递推最小二乘算法 219
4.2.5 基于过参数化模型的多新息最小二乘算法 222
4.3 基于过参数化模型的递阶多新息辨识方法 224
4.3.1 基于过参数化模型的递阶随机梯度算法 225
4.3.2 基于过参数化模型的递阶多新息随机梯度算法 226
4.3.3 基于过参数化模型的递阶最小二乘算法 228
4.3.4 基于过参数化模型的递阶多新息最小二乘算法 230
4.4 基于关键项分离的多新息辨识方法 232
4.4.1 基于关键项分离的辨识模型 233
4.4.2 基于关键项分离的随机梯度算法 234
4.4.3 基于关键项分离的多新息随机梯度算法 235
4.4.4 基于关键项分离的递推最小二乘算法 237
4.4.5 基于关键项分离的多新息最小二乘算法 239
4.5 基于关键项分离的两阶段多新息辨识方法 240
4.5.1 基于关键项分离的两阶段随机梯度算法 241
4.5.2 基于关键项分离的两阶段多新息随机梯度算法 243
4.5.3 基于关键项分离的两阶段递推最小二乘算法 244
4.5.4 基于关键项分离的两阶段多新息最小二乘算法 246
4.6 基于关键项分离的三阶段多新息辨识方法 248
4.6.1 基于关键项分离的三阶段辨识模型 248
4.6.2 基于关键项分离的三阶段随机梯度算法 249
4.6.3 基于关键项分离的三阶段多新息随机梯度算法 250
4.6.4 基于关键项分离的三阶段递推最小二乘算法 252
4.6.5 基于关键项分离的三阶段多新息最小二乘算法 255
4.6.6 算法的计算量比较 258
4.7 小结 258
4.8 思考题 260
第5章 输入非线性方程误差自回归系统 263
5.1 引言 263
5.2 基于过参数化模型的多新息辨识方法 265
5.2.1 系统描述与过参数化辨识模型 265
5.2.2 基于过参数化模型的广义随机梯度算法 268
5.2.3 基于过参数化模型的多新息广义随机梯度算法 269
5.2.4 基于过参数化模型的递推广义最小二乘算法 270
5.2.5 基于过参数化模型的多新息广义最小二乘算法 271
5.3 基于关键项分离的多新息辨识方法 272
5.3.1 基于关键项分离的辨识模型 273
5.3.2 基于关键项分离的广义随机梯度算法 274
5.3.3 基于关键项分离的多新息广义随机梯度算法 275
5.3.4 基于关键项分离的递推广义最小二乘算法 276
5.3.5 基于关键项分离的多新息广义最小二乘算法 277
5.4 基于数据滤波的多新息辨识方法（1） 278
5.4.1 基于滤波的辨识模型 278
5.4.2 基于滤波的随机梯度算法 279
5.4.3 基于滤波的多新息随机梯度算法 281
5.4.4 基于滤波的递推最小二乘算法 283
5.4.5 基于滤波的多新息最小二乘算法 285
5.5 基于数据滤波的多新息辨识方法（2） 286
5.5.1 基于滤波的辨识模型 287
5.5.2 基于滤波的随机梯度算法 287
5.5.3 基于滤波的多新息随机梯度算法 288
5.5.4 基于滤波的递推最小二乘算法 290
5.5.5 基于滤波的多新息最小二乘算法 291
5.6 基于数据滤波的多新息辨识方法（3） 291
5.6.1 基于滤波的辨识模型 292
5.6.2 基于滤波的随机梯度算法 292
5.6.3 基于滤波的多新息随机梯度算法 293
5.6.4 基于滤波的递推最小二乘算法 293
5.6.5 基于滤波的多新息最小二乘算法 294
5.7 基于关键项分离的分解多新息辨识方法 296
5.7.1 基于关键项分离的分解辨识模型 296
5.7.2 基于关键项分离的分解广义随机梯度算法 297
5.7.3 基于关键项分离的分解多新息广义随机梯度算法 298
5.7.4 基于关键项分离的分解递推广义最小二乘算法 299
5.7.5 基于关键项分离的分解多新息广义最小二乘算法 300
5.8 基于双线性参数模型分解的多新息辨识方法 302
5.8.1 基于双线性参数模型分解的辨识模型 302
5.8.2 基于分解的广义随机梯度算法 304
5.8.3 基于分解的多新息广义随机梯度算法 307
5.8.4 基于分解的递推广义最小二乘算法 310
5.8.5 基于分解的多新息广义最小二乘算法 313
5.9 小结 315
5.10 思考题 316
第6章 多新息辨识方法的性能分析 319
6.1 引言 319
6.2 随机梯度辨识方法 320
6.2.1 随机梯度辨识算法 320
6.2.2 SG辨识算法的收敛性 321
6.3 多新息随机梯度辨识方法 325
6.3.1 多新息随机梯度辨识算法 325
6.3.2 MISG辨识算法的收敛性 326
6.4 遗忘因子多新息随机梯度辨识方法 328
6.4.1 遗忘因子多新息随机梯度算法 329
6.4.2 FF-MISG辨识算法的收敛性 329
6.4.3 仿真例子 336
6.5 多新息增广随机梯度辨识方法 341
6.5.1 多新息增广随机梯度算法 341
6.5.2 MI-ESG辨识算法的收敛性 342
6.6 变递推间隔辅助模型多新息随机梯度辨识方法 353
6.6.1 问题构成与辨识模型 353
6.6.2 变递推间隔辅助模型多新息随机梯度算法 354
6.6.3 V-AM-MISG辨识算法的收敛性 357
6.6.4 仿真例子 365
6.7 多新息最小二乘辨识方法 370
6.7.1 多新息最小二乘辨识算法 370
6.7.2 MILS辨识算法的收敛性 372
6.7.3 变递推间隔MILS辨识算法 375
6.7.4 仿真例子 377
6.8 小结 383
6.9 思考题 384
参考文献 388
索引 397
后记 405