随机逼近及自适应算法PDF电子书下载

第一章 预备知识 1

§1.1 概率论的若干基本概念 1

1.1.1 随机变量及其分布 1

1.1.2 随机变量列的收敛性 1

1.1.3 随机变量的期望和条件期望 2

1.1.4 条件期望的基本性质 4

§1.2 离散参数鞅 8

1.2.1 停时 8

1.2.2 鞅 9

1.2.3 离散鞅的基本不等式 10

1.2.4 离散鞅的收敛定理 14

1.2.5 Doob停时定理 15

§1.3 马尔可夫链 17

1.3.1 马尔可夫链的定义及其转移概率 17

1.3.2 状态的分类 18

1.3.3 状态空间的分类 22

1.3.4 P（n）ij的渐近性质与平稳分布 23

1.3.5 离散时间连续状态的马尔可夫链 26

第二章 随机逼近算法的分析方法 29

§2.1 随机逼近算法 29

§2.2 鞅方法 30

§2.3 常微分方程方法 33

§2.4 Lyapunov函数方法 36

第三章 具有局部有界矩随机逼近算法的几乎必然收敛性 41

§3.1 一般算法的引进 41

3.1.1 算法模型 41

3.1.2 例子 42

3.1.3 关于H，ρn和Ⅱ的一般假设 43

3.1.4 例子(续3.1.2) 44

§3.2 一般算法的分解 46

§3.3 L2估计 49

§3.4 通过常微分方程的解作算法的逼近 54

§3.5 算法的渐近分析 57

§3.6 收敛定理的另一种叙述 60

§3.7 一个全局收敛性定理 61

§3.8 一些算法的L2收敛速度 65

3.8.1 Robbins-Monro算法 65

3.8.2 一般算法的局部L2上界 67

第四章 应用 70

§4.1 马尔可夫链的几何遍历性 70

4.1.1 预备引理 70

4.1.2 不变概率与Poisson方程的解 71

4.1.3 由Li(p)到Li(p)的连续转移函数P的情形 73

4.2.1 υθ关于θ的Holder正则性 74

§4.2 依赖于参数θ的马尔可夫链 74

4.2.2 定理4.2.1的意义 75

4.2.3 定理4.2.1的证明 75

4.2.4 υθ关于θ为Lipschitz的情形 77

4.2.5 定理4.2.2的证明 78

4.2.6 转移概率Pθ不依赖于θ情形 79

§4.3 线性动力系统 80

4.3.1 假设和记号 80

4.3.2 预备结果 81

4.3.3 Pnθ的性质 82

4.3.4 验证假设(A.4) 84

§4.4 例子 85

4.4.1 接收信号的马尔可夫表示 85

4.4.2 横向均衡器，学习阶段 86

4.4.3 最小二乘算法 86

第五章 遗传算法 89

§5.1 基本概念 89

§5.2 遗传算子及其性质 91

§5.3 遗传机制的过程分析 94

§5.4 遗传算法的马氏链模型 100

第六章 抽象遗传算法及其收敛性的一般理论 104

§6.1 演化算子及其特征数 104

6.1.1 选择算子 105

6.1.2 变异算子 107

6.1.3 杂交算子 107

§6.2 遗传算法收敛性的一般理论 108

6.2.1 110

6.2.2 113

§6.3 两类特殊类型遗传算法的收敛性 115

第七章 模拟退火算法 119

§7.1 模拟退火算法的数学模型 119

7.1.1 算法介绍 119

7.1.2 算法的数学模型 120

§7.2 齐次算法的渐近收敛性 121

7.2.1 平稳分布的存在性 122

7.2.2 平稳分布的收敛性 123

§7.3 非齐次算法的渐近收敛性 126

第八章 主成分分析神经网络算法 130

§8.1 主成分分析 130

§8.2 主成分分析神经网络算法 132

8.2.1 Hebbian规则 133

8.2.2 对于单个主成分的Oja规则 134

8.2.3 广义的Hebbian算法(GHA) 138

8.2.4 多分量的子空间规则 139

参考文献 142