1 引论 1
1.1智能与思维科学 1
1.1.1智能 1
1.1.2思维科学 2
1.1.3思维的类型 3
1.2人工智能 4
1.2.1人工智能的概念 4
1.2.2人工智能的发展简史 5
1.2.3人工智能的研究目标 6
1.2.4人工智能研究的基本内容 6
1.2.5人工智能的研究途径 7
1.2.6人工智能的研究领域 9
1.3人工神经网络概述 11
1.3.1人工神经网络研究简史 11
1.3.2人工神经网络研究基本内容 13
1.3.3人工神经网络分类 14
2基础知识 15
2.1 人脑神经系统的构成 15
2.1.1 小脑 17
2.1.2 间脑 18
2.1.3脑干 19
2.1.4大脑 20
2.2人脑神经细胞工作概况 29
2.2.1 神经细胞的基本结构 30
2.2.2信号在轴突内的传递 33
2.3人工神经网络的构思 34
2.4系统的稳定性 36
2.4.1动力系统 36
2.4.2 自治系统与非自治系统 37
2.4.3奇点与常点、稳定性 37
2.4.4奇点的稳定与渐近稳定 38
2.4.5极限环的稳定性 38
2.4.6一般运动稳定性概念（Lyapunov稳定性） 38
2.4.7稳定性的定性理论 39
2.4.8系统轨道稳定性 39
2.4.9结构稳定性 40
2.4.10稳定性在神经网络设计中的重要性 42
2.5混沌与神经网络 42
2.5.1动力学系统 42
2.5.2稳态行为与极限集 43
2.5.3庞加莱映射 51
2.5.4极限集的稳定性 55
2.5.5维数 61
3神经元模型 67
3.1神经元的通用功能模型 67
3.1.1 输入区 67
3.1.2处理区 68
9.1.3模糊自适应谐振算法 1 69
3.1.3输出区 69
3.2简单线性神经元 70
3.3位势神经元 71
3.4.2功能函数用表格形式表示 73
3.4.1功能函数用逻辑函数表示 73
3.4逻辑神经元 73
3.4.3逻辑函数拓广到连续变量 74
3.5势态神经元 74
3.6其他神经元 75
3.6.1 G神经元模型 75
3.6.2 RM元 76
4联接方式 77
4.1 分层神经元网的一般结构 77
4.2联接矩阵图 78
4.3神经元网络的多层组织 79
5训练和学习 81
5.1乘积学习规则 81
5.1.2给定多个训练样本对时权矩阵的设计 82
5.1.1给定一个训练样本对时权矩阵的设计 82
5.2关联学习 83
5.2.1学习规则与公式 83
5.2.2与乘积学习规则的区别 84
5.2.3局限性与改进 84
5.3线性元网络的差值规则训练法 85
5.3.1乘积规则的缺陷 85
5.3.2基本差值规则（用于单层线性网络） 85
5.3.3基本差值训练算法的收敛性分析 86
5.4准线性元网络的差值规则 87
5.4.1准线性神经元 87
5.4.2多层准线性元网络（多层感知器，MLP）的反向传递算法（BP） 88
9.3.5模拟例子 1 88
5.5.1差值训练算法缺点 88
5.5随机训练 88
5.5.2逃离局部最小点的策略 89
5.5.3神经网络的随机训练法 89
5.5.4随机训练算法的具体实施方案 91
6.1感知器 93
6.1.1感知器模型 93
6前馈网络 93
6.1.2用来进行模式识别 95
6.1.3用来实现逻辑函数 95
6.1.4异或（XOR）问题 96
6.2多层感知器（MLP） 97
6.2.1多层感知器的功能 97
6.2.2多层感知器的学习算法（反向传递算法） 98
6.2.3多层感知器存在的问题与局限性 104
6.3径向基函数（RBF）网络 107
6.3.1 RBF的基本功能 108
6.3.2 RBF网的学习算法 109
6.3.3 RBF网的扩展 110
6.3.4 RBF网的学习复杂度 111
6.4前馈网络与其他模式分类器 111
6.4.1高斯分类器 111
6.4.2混合高斯法与窗函数法 112
6.4.3区分函数分类器 112
6.4.4距离分类器 112
7动态网络 114
7.1延时网络（TDNN） 114
7.2.1一些预备知识 116
7.2双向联想存储 116
7.2.2双向联想存储器（BAM） 117
7.3 Hopfield网 121
7.4.1神经元方程 125
7.4递归网络 125
7.4.2学习算法 126
7.4.3例子 128
7.5 Bolzmann机 129
7.5.2 自联想Bolzmann机 130
7.5.1 问题的提出 130
7.5.3异联想Bolzmann机 136
7.5.4例子 137
8竞争网络 139
8.1汉明网 139
8.1.1汉明网的拓扑结构 139
8.1.2权矩阵的计算（存储） 140
8.1.3神经元功能函数 141
8.1.5 Hamming网的优越性 142
8.1.6实现独活型竞争（选极大）的其他网网络结构 142
8.2自组织特征映射 142
8.1.4网络的运行 142
8.2.1 自组织特征映射的思想来源 143
8.2.2 自组织特征映射的网络模型 144
8.2.3仿真实例 147
8.3.1 Grossberg及其自适应谐振网理论 148
8.3适应谐振网——ART1 148
8.2.5关于SOFM的几点评论 148
8.2.4 点注意事项 148
8.3.2 ART1拓扑结构 149
8.3.3 ART1的运行（无师学习算法） 154
8.3.4运行实例 155
8.3.5 ART1的优缺点 157
8.4自适应谐振网－ART2 158
8.4.1 ART2的拓扑结构 158
8.4.2 F1层短期记忆方程 159
8.4.3 F2层短期记忆方程 160
8.4.4重置方程 160
8.4.7对参数c,d的约束 161
8.4.6权初值的选取 161
8.4.5学习方程 161
8.4.8 ART2的学习算法 162
8.4.9 ART2的特点 164
8.4.10仿真实例 165
8.4.11 ART2的另外两种结构 166
8.4.12 ART2的缺点 166
9模糊自适应网 167
9.1模糊自适应谐振网（FuzzyART） 167
9.1.1基本思想 167
9.1.2符号与术语 169
9.1.4算法说明 171
9.1.5算法的几何解释 172
9.1.7模糊自适应谐振网的缺点 174
9.1.6例子 174
9.2.1 FMM网的输入空间 175
9.2模糊极小—极大网 175
9.2.2超盒、模糊集与隶属函数 176
9.2.3拓扑结构与神经元 177
9.2.4 络的运行 178
9.2.5网络的有师训练算法 179
9.2.6例子 182
9.2.7总结 182
9.3一般模糊极小—极大（GFMM）网 183
9.3.1拓扑结构 183
9.3.2超盒模糊集的隶属函数 183
9.3.3学习算法 186
9.3.4网络的运行 187
9.4模糊格神经网络（FLNN） 188
9.4.1模糊格理论基础 188
9.4.2模糊格神经网络 193
9.4.3 VL中包含测度的定义 198
9.4.4实验结果 200
9.5递归自组织模糊推理网络（RSONFIN） 202
9.5.1基本思想 202
9.5.2 RSONFIN的模型 203
9.5.3 RSONFIN的结构学习 206
9.5.4参数学习 210
9.5.5例子 213
10.1学习理论的背景 215
10统计学习理论 215
10.1.2风险极小化问题准则 216
10.1.3三种主要的学习问题 216
10.1.1预报函数估计模型 216
10.1.4经验函数极小化推导准则 217
10.1.5 ERM与经典方法 217
10.1.6学习理论的四部分 218
10.2学习过程一致性理论 219
10.2.1学习理论的基本定理 219
10.2.2一致收敛的充要条件 219
10.2.3学习理论中的三个里程碑 221
10.3学习过程收敛率的界限 222
10.3.1增长函数的结构 222
10.3.3两个重要例子 223
10.3.2 VC维数的等价定义 223
10.3.4不依赖于分布的学习过程收敛率 224
10.3.5（依赖分布）构造严格上界 225
10.4控制学习机泛化性能的理论 225
10.5构造性学习算法的理论 226
10.5.1划分超平面法及其推广 227
10.5.2示性函数的S型逼近与神经网络 227
10.5.3最优划分超平面 228
10.5.4支承向量机 231
10.5.5为什么神经网络与支承向量机能够泛化 233
10.6结论 234
参考文献 235