大规模人工神经网络理论基础PDF电子书下载

目录 1

第1章 绪论 1

1.1 人工神经网络介绍 1

1.1.1 人工神经网络的概述和发展史 1

1.1.2 神经元的形式化描述和人工神经网络模型 3

1.2 人工神经网络的发展趋势 5

1.2.1 生物智能的启发 5

1.2.2 泛化能力 6

1.2.3 人工神经网络的发展趋势 7

1.3 神经场学习理论 9

1.3.1 神经场理论的目的和意义 9

1.3.2 神经场理论的研究现状 11

1.4 知识可增殖人工神经网络 12

参考文献 13

2.1.2 联合熵与条件熵 17

2.1.1 熵 17

2.1 信息论的原理 17

第2章 系统熵 17

2.1.3 相对熵 18

2.1.4 互信息 19

2.1.5 微分熵 20

2.1.6 随机变量序列下的链式规则 21

2.1.7 信息论中的一些基本不等式 22

2.2.1 最大熵原理 25

2.2 系统熵 25

2.2.2 最小相对信息原理 27

2.2.3 最小平均“能量”原理 30

2.2.4 有序和无序平衡原理 31

2.2.5 系统平衡态的熵 31

2.2.6 平衡状态的平均能量 32

2.2.7 最大熵分布 33

参考文献 35

3.1.1 微分流形 36

第3章 神经场研究的数学基础 36

3.1 微分流形的基本概念 36

3.1.2 切向量和切向量空间 38

3.1.3 Riemannian流形与仿射联络 39

3.1.4 子流形 40

3.2 信息几何理论 41

3.2.1 对偶平坦流形 41

3.2.2 统计模型流形的几何结构 43

3.2.3 指数流形上的几何 44

3.3 流形上的拓扑结构分析理论 46

参考文献 47

第4章 传统学习算法 48

4.1 感知器算法 48

4.1.1 感知器基本性质 48

4.1.2 感知器梯度算法 50

4.1.3 感知器算法的收敛性 54

4.1.4 线性阈值部件感知器 56

4.2 误差反传递算法 57

4.2.1 两层网的缺点 57

4.2.2 扩展误差（△）规则 58

4.2.3 模拟结果 63

4.3 竞争学习算法 70

4.3.1 竞争学习 70

4.3.2 形式分析 72

4.3.3 实验结果 74

4.4 Hopfield模型 78

4.4.1 Ising模型 78

4.4.2 平均场近似模型 79

4.4.3 Hopfield模型 82

4.4.4 Hopfield权值公式证明 83

4.4.5 连续Hopfield网络模型 85

4.4.6 Hopfield网络的应用 87

4.5.1 RBF的介绍 88

4.5 径向基神经网络算法 88

4.5.2 径向基函数网络介绍 90

4.5.3 RBF网络训练的准则和常用算法 92

4.5.4 RBF网络的交替梯度算法 94

4.5.5 一维梯度算法 96

4.5.6 在线自然交替梯度算法 97

4.5.7 共轭梯度算法 98

4.6 本章相关知识 99

参考文献 101

第5章 概率网络模型 103

5.1 网络 103

5.2 玻耳兹曼机器 104

5.2.1 玻耳兹曼机器的相关理论 104

5.2.2 玻耳兹曼机器 108

5.3 玻耳兹曼机器的互信息最大化原则 113

5.4 玻耳兹曼机器的冗余度最小化和信息最大化 115

5.5.1 分层前馈网络的概率模型 117

5.5 EM算法 117

5.5.2 EM算法的基本思想 120

5.5.3 EM算法的具体步骤 123

5.5.4 编程公式推导 123

5.6 本章相关知识 125

参考文献 127

第6章 神经网络的指数簇表示 128

6.1 神经网络的表示与学习 128

6.1.1 前馈网络的变换机理 128

6.1.2 反馈网络模型动力学系统模型 129

6.1.3 自组织神经网络结构的竞争特性和机理 130

6.1.4 神经网络的统计模型表示 130

6.2 人工神经网络系统的流形表示 131

6.2.1 指数簇流形与人工神经网络 132

6.2.2 弯曲指数簇流形与人工神经网络 134

6.3.1 神经场表示 137

6.3 神经场学习理论 137

6.3.2 神经场学习模型的形式化表示 138

6.3.3 神经场学习理论的几何观点 138

6.3.4 神经场学习算法 139

参考文献 140

第7章 增殖神经网络 143

7.1 增殖性问题 143

7.1.1 增殖性研究 143

7.1.2 神经网络集成 144

7.1.3 增量学习 145

7.2 神经场增殖性研究的可行性理论分析 145

7.2.1 神经场结构描述空间 146

7.2.2 神经场复杂结构可分解机理 147

7.3 基于结构的神经场学习逼近理论 151

7.3.1 功能模块化的结构表示机理 151

7.3.2 知识增殖学习的结构表示机理 153

参考文献 155

7.4 复形 155

第8章 层次化混合模型的知识增殖性 157

8.1 混合专家模型 157

8.1.1 混合专家模型的结构 157

8.1.2 混合模型结构的流形编码表示 159

8.2分层混合神经网络（HME）模型 161

8.2.1 工作原理 161

8.2.2 HME模型的EM学习算法 163

8.2.3 改进的EM学习算法 165

8.3 HME模型增殖性分析 168

8.4 动态多叉树算法 170

8.4.1 算法原理 171

8.4.2 算法实现 172

8.4.3 系统扩展实现 175

8.4.4 算法分析与比较 175

参考文献 176