第1章 绪论 1
1.1 随机系统 1
1.2 随机系统辨识与参数估计 2
1.3 随机系统偏最小二乘估计 3
1.4 随机系统总体最小二乘估计 4
1.5 本章小结 6
参考文献 6
第2章 最小二乘估计 10
2.1 参数估计问题及其一般描述 10
2.2 最小二乘参数估计 11
2.2.1 经典最小二乘估计 11
2.2.2 加权最小二乘估计 12
2.2.3 正则化最小二乘估计 14
2.2.4 递推最小二乘估计 15
2.2.5 最小均方误差估计 16
2.3 线性差分模型最小二乘参数估计 18
2.3.1 单输入单输出系统的最小二乘参数估计 18
2.3.2 滤波型加权最小二乘估计与广义最小二乘算法 20
2.3.3 相关型加权最小二乘估计与辅助变量法 24
2.3.4 多输入输出系统的最小二乘参数估计 25
2.4 离散差分模型的递推参数估计 26
2.4.1 用于参数估计的递推最小二乘算法 26
2.4.2 渐消记忆的递推最小二乘算法 28
2.4.3 适用于有色噪声的改进递推最小二乘算法 30
2.5 本章小结 33
参考文献 33
第3章 偏最小二乘估计 34
3.1 引言 34
3.2 偏最小二乘 35
3.3 核偏最小二乘 37
3.4 改进的核偏最小二乘 38
3.4.1 随机梯度Boosting算法 39
3.4.2 核纯净信号分析 40
3.4.3 改进的核偏最小二乘方法 41
3.5 仿真实验 42
3.5.1 数值仿真实验 42
3.5.2 混凝土抗压强度 47
3.6 本章小结 53
参考文献 53
第4章 总体最小二乘问题 56
4.1 最小二乘估计方法 56
4.2 总体最小二乘问题 57
4.2.1 预备知识 58
4.2.2 正交最小二乘问题 58
4.2.3 基本TLS问题 59
4.2.4 多维TLS问题 62
4.2.5 特殊单维TLS问题 63
4.2.6 混合OLS-TLS问题 65
4.2.7 OLS与TLS之间的代数比较 65
4.2.8 统计特性和有效性 66
4.2.9 基本数据最小二乘问题 68
4.3 总体最小二乘求解方法 69
4.3.1 部分TLS算法 69
4.3.2 迭代计算方法 69
4.3.3 神经元计算方法 69
4.4 本章小结 70
参考文献 70
第5章 总体最小二乘递归估计 73
5.1 引言 73
5.2 总体最小二乘递归类方法 74
5.2.1 Davila’s FIR RTLS算法 74
5.2.2 Davila’s IIR RTLS算法 77
5.3 一种新型快速RTLS算法 81
5.3.1 Feng’s RTLS算法 81
5.3.2 Feng’s AIP算法 92
5.4 本章小结 101
参考文献 101
第6章 总体最小二乘迭代与随机估计 105
6.1 引言 105
6.1.1 直接方法与迭代计算方法 105
6.1.2 逆迭代方法 106
6.1.3 Chebyshev迭代 106
6.1.4 Lanczos方法 107
6.1.5 瑞利商迭代 107
6.2 瑞利商最小化的非神经元和神经元方法 108
6.3 TLS神经网络方法 109
6.3.1 GAO’s TLS神经元方法 109
6.3.2 TLS EXIN神经元方法 111
6.3.3 Bruce’s混合LS-TLS算法 112
6.4 总体最小均方算法 117
6.4.1 总体最小均方算法的导出 117
6.4.2 算法的稳定性分析 120
6.4.3 算法的性能仿真分析 122
6.4.4 算法性能的进一步讨论 124
6.5 改进的总体最小二乘线性核及其自稳定算法 124
6.5.1 确定性连续时间系统的性能分析 127
6.5.2 随机离散时间系统的性能分析 129
6.5.3 计算机仿真实验 132
6.6 本章小结 134
参考文献 135
第7章 约束总体最小二乘和结构总体最小二乘估计 137
7.1 引言 137
7.2 约束总体最小二乘 138
7.2.1 约束总体最小二乘问题 138
7.2.2 约束总体最小二乘算法 141
7.3 结构总体最小二乘 142
7.3.1 结构总体最小二乘问题的例子 143
7.3.2 结构总体最小二乘问题的历史 145
7.3.3 结构总体最小二乘问题和求解 146
7.4 约束与结构总体最小二乘的等价性 150
7.5 一个新的总体最小二乘问题公式化表示 152
7.5.1 加权总体最小二乘问题 152
7.5.2 加权总体最小二乘算法 154
7.6 本章小结 155
参考文献 155
第8章 特征提取类总体最小二乘方法 159
8.1 引言 159
8.2 神经网络次成分特征提取 160
8.2.1 Hopfield网络MCA算法 160
8.2.2 Xu-Oja MCA算法 166
8.2.3 MCA EXIN算法 167
8.2.4 MCA自稳定算法 168
8.2.5 正交MCA算法 170
8.3 一种自稳定的次成分分析算法 172
8.4 一种自稳定神经网络次成分特征提取 174
8.4.1 一种自稳定的MCA算法 174
8.4.2 算法的收敛性能 174
8.4.3 算法的发散性能 175
8.4.4 算法自稳定特性 175
8.4.5 次子空间跟踪算法 176
8.5 本章小结 182
参考文献 182
第9章 广义特征信息提取方法 185
9.1 广义Hermitian特征值问题 185
9.2 广义特征信息提取神经网络算法 188
9.2.1 基于牛顿和拟牛顿法的广义特征向量提取算法 188
9.2.2 基于幂法的快速广义特征向量提取算法 189
9.2.3 基于递归最小二乘法的广义特征向量提取算法 190
9.2.4 成对广义特征向量提取算法 193
9.3 一种快速和自适应的耦合广义特征对提取分析算法 195
9.3.1 GMCA和GPCA算法的耦合广义系统 196
9.3.2 耦合广义系统的自适应实现 199
9.3.3 收敛性能分析 201
9.3.4 数值仿真例子 203
9.3.5 结论 209
9.4 本章小结 215
参考文献 215
第10章 参数估计算法的性能分析 218
10.1 引言 218
10.2 确定性连续时间系统方法 219
10.2.1 随机近似逼近理论条件 219
10.2.2 确定性连续时间方法 219
10.2.3 李雅谱诺夫函数方法 222
10.3 随机性离散时间系统 222
10.3.1 普通发散现象 222
10.3.2 突然发散现象 225
10.3.3 不稳定发散现象 227
10.3.4 数值发散现象 232
10.4 确定性离散时间系统 233
10.4.1 新的自稳定MCA学习算法的提出 233
10.4.2 确定性DDT系统的收敛性能分析 233
10.4.3 确定性DDT系统的稳定性能分析 239
10.4.4 计算机仿真实验 241
10.5 不动点分析方法 243
10.5.1 收缩映射理论 243
10.5.2 循环神经网络体系结构中的稳定性 245
10.6 本章小结 255
参考文献 256
第11章 总体最小二乘参数估计方法的应用 257
11.1 引言 257
11.2 经典总体最小二乘方法应用 257
11.2.1 在曲线与曲面拟合中的应用 257
11.2.2 在自适应滤波中的应用 259
11.2.3 在频率估计中的应用 261
11.2.4 在系统参数估计中的应用 264
11.2.5 在系统故障诊断中的应用 267
11.3 约束总体最小二乘方法应用 272
11.3.1 在谐波信号的超分辨恢复中的应用 272
11.3.2 约束总体最小二乘图像恢复应用 274
11.4 结构总体最小二乘方法应用 279
11.5 本章小结 282
参考文献 282