第1章 背景与展望 1
1.1 监督、序贯和主动学习 1
1.2 线性自适应滤波器 3
1.2.1 最小均方算法 4
1.2.2 递归最小二乘算法 5
1.2.3 扩展递归最小二乘算法 7
1.3 非线性自适应滤波器 10
1.4 再生核希尔伯特空间 11
1.5 核自适应滤波器 15
1.6 总结 20
注释 21
第2章 核最小均方算法 27
2.1 最小均方算法 28
2.1.1 LMS算法的收敛性 29
2.1.2 LMS算法的失调 30
2.1.3 学习曲线 30
2.2 核最小均方算法 31
2.3 核及参数选择 34
2.4 步进参数 37
2.5 新奇准则 38
2.6 KLMS算法的自正则化特性 40
2.6.1 解范式约束 40
2.6.2 奇异值分析 42
2.6.3 单位下三角线性系统 47
2.7 泄漏核最小均方算法 48
2.8 标准核最小均方算法 48
2.9 核ADALINE算法 49
2.10 资源配置网络 54
2.11 计算机实验 55
2.11.1 KLMS算法应用于Mackey-Glass时间序列预测 55
2.11.2 KLMS应用于非线性信道均衡 63
2.12 结论 65
注释 66
第3章 核仿射投影算法 70
3.1 仿射投影算法 70
3.2 核仿射投影算法 74
3.2.1 KAPA-1（简单KAPA） 74
3.2.2 KAPA-2（标准化KAPA） 77
3.2.3 KAPA-3（泄漏KAPA） 77
3.2.4 KAPA-4（基于牛顿递归的泄漏KAPA） 78
3.3 误差重用 79
3.4 滑动窗口Gram矩阵逆 80
3.5 相关算法之间的关系 80
3.5.1 KLMS算法 80
3.5.2 NORMA算法 81
3.5.3 核ADA LINE算法 81
3.5.4 滑动窗核递归最小二乘算法 82
3.5.5 正则化网络 82
3.6 计算机实验 83
3.6.1 KAPA应用于M-G时间序列预测 83
3.6.2 KAPA应用于消除噪声 85
3.6.3 KAPA应用于非线性信道均衡 89
3.7 结论 92
注释 94
第4章 核递归最小二乘算法 97
4.1 递归最小二乘算法 97
4.1.1 正则化和初始化 100
4.2 指数加权递归最小二乘算法 101
4.3 核递归最小二乘算法 102
4.4 近似线性相关 106
4.5 指数加权核递归最小二乘算法 108
4.6 高斯过程线性回归 110
4.7 高斯过程非线性回归 113
4.8 贝叶斯模型选择 117
4.9 计算机实验 119
4.9.1 KRLS应用于Mackey-Glass时间序列预测 119
4.9.2 最大边际似然进行模型选择 121
4.10 结论 125
注释 126
第5章 扩展核递归最小二乘算法 130
5.1 扩展递归最小二乘算法 131
5.2 指数加权扩展递归最小二乘算法 134
5.3 扩展核递归最小二乘算法 135
5.4 扩展核递归最小二乘算法用于跟踪模型 138
5.5 有限秩假设的扩展核递归最小二乘算法 144
5.6 计算机实验 149
5.6.1 EX-KRLS应用于瑞利信道跟踪 149
5.6.2 EX-KRLS在洛伦兹时间序列预测中的应用 154
5.7 结论 158
注释 159
第6章 稀疏核自适应滤波器设计 160
6.1 惊奇测度SC定义 160
6.2 高斯过程回归复习 162
6.3 计算惊奇测度SC 164
6.3.1 输入分布 165
6.3.2 未知的期望信号 165
6.3.3 新奇概率 166
6.4 使用惊奇准则的核递归最小二乘算法 167
6.5 使用惊奇准则的核最小均方算法 168
6.6 使用惊奇准则的核仿射投影算法 169
6.7 计算机实验 171
6.7.1 惊奇准则应用于非线性回归 171
6.7.2 惊奇准则应用于MG时间序列预测 175
6.7.3 SC准则应用于CO2浓度预测 177
6.8 结论 181
注释 182
附录A 数学背景 183
A.1 奇异值分解 183
A.1.1 伪逆 184
A.1.2 最小范数解 184
A.2 正定矩阵 184
A.3 特征值分解 185
A.4 Schur补 186
A.5 块矩阵求逆 187
A.6 矩阵求逆引理 188
A.7 联合概率、边缘概率和条件概率 188
A.8 正态分布 189
A.9 梯度下降法 189
A.10 牛顿法 190
附录B 近似线性相关与系统稳定性 192
参考文献 198
后记 212