第1章 绪论 1
1．1 系统辨识定义与要素 1
1．2 经典辨识准则 2
1．3 非均方辨识准则 3
1．4 信息论辨识准则 4
1．4．1 误差熵准则 5
1．4．2 信息距离准则 7
1．4．3 互信息准则 7
1．5 本书的构成 8
第2章 信息论测度及性质 10
2．1 熵 10
2．2 互信息 14
2．3 信息距离 16
2．4 Fisher信息 18
2．5 信息率 19
附录A α稳定分布 20
附录B 式（2—15）的证明 21
附录C Cramer—Rao不等式的证明 21
第3章 参数估计的信息论方法 23
3．1 参数估计典型方法 23
3．1．1 经典参数估计 23
3．1．2 贝叶斯参数估计 25
3．2 经典参数估计的信息论方法 27
3．2．1 熵匹配参数估计 27
3．2．2 最大熵参数估计 28
3．2．3 最小信息距离参数估计 30
3．3 基于误差熵准则贝叶斯参数估计 33
3．3．1 误差熵准则基本性质 33
3．3．2 与均方误差准则的关系 35
3．3．3 与任意误差准则的关系 42
附录D EM算法 45
附录E 估计量的评价 45
附录F 贝叶斯最小均方估计 46
第4章 基于误差熵准则的系统参数辨识 47
4．1 系统参数辨识框架 47
4．1．1 准则函数 48
4．1．2 模型描述 49
4．1．3 辨识算法 50
4．2 参数辨识中误差熵估计 53
4．2．1 熵估计常用方法 55
4．2．2 基于核密度估计的经验误差熵 58
4．3 基于误差熵准则的参数辨识算法 63
4．3．1 非参数信息梯度算法 63
4．3．2 参数化信息梯度算法 67
4．3．3 基于不动点原理迭代算法 71
4．3．4 仿真例子 73
4．4 基于误差熵准则参数辨识收敛性分析 80
4．4．1 基于近似线性化方法的收敛性分析 81
4．4．2 算法收敛中的能量守恒关系 82
4．4．3 基于能量守恒的收敛性分析 86
4．4．4 仿真例子 92
4．5 误差熵准则的优化 99
4．5．1 最优φ熵准则 99
4．5．2 仿真例子 103
4．6 离散数据情形下误差熵准则——△熵准则 105
4．6．1 △熵概念 105
4．6．2 △熵性质 108
4．6．3 △熵估计 113
4．6．4 应用于系统参数辨识的△熵准则 118
附录G 向量梯度与矩阵梯度 124
第5章 基于信息距离准则的系统参数辨识 126
5．1 基于KLID准则的系统参数可辨识性 126
5．1．1 定义及假设 126
5．1．2 KLID可辨识性与Fisher信息 128
5．1．3 高斯过程的KLID可辨识性 131
5．1．4 Markov过程的KLID可辨识性 134
5．1．5 渐近KLID可辨识性 137
5．2 带参考PDF最小信息距离参数辨识 143
5．2．1 基本原理 143
5．2．2 准则性质 145
5．2．3 辨识算法 152
5．2．4 仿真例子 153
5．3 最小欧氏距离准则及参数辨识算法 157
5．3．1 准则函数 157
5．3．2 辨识算法 157
5．3．3 仿真例子 158
附录H AIC准则及推导 159
第6章 基于互信息准则的系统参数辨识 163
6．1 基于最小互信息准则参数辨识 163
6．1．1 准则性质 165
6．1．2 与独立分量分析的关系 168
6．1．3 基于独立分量分析的随机梯度辨识算法 170
6．1．4 仿真例子 171
6．2 基于最大互信息准则参数辨识 173
6．2．1 互信息准则性质 174
6．2．2 随机互信息梯度辨识算法 177
6．2．3 双准则辨识及算法 181
附录I 最小互信息率准则 191
参考文献 193
索引 207