第一章 概述 1
第一节 神经网络的产生与发展 1
一、神经网络的产生 1
二、神经网络的发展历史 3
第二节 神经网络研究内容 9
一、神经网络的研究内容 9
二、神经网络目前的研究热点和未来发展 12
一、本项研究的目的和意义 15
第三节 本项研究的目的、意义和主要内容 15
二、本项研究的主要内容 17
第四节 本书的组织安排 19
第二章 前馈神经网络的工作机理分析 20
第一节 引言 20
第二节 高维空间几何理论基础 26
一、基本概念 26
二、常用定理 30
一、神经元的几何意义 32
第三节 神经网络的几何解释 32
二、神经网络的高维空间几何意义 35
第四节 分类决策树与前馈网络的等价性 38
一、决策树 39
二、决策树的插值表示 43
三、前馈网络与决策树的等价性 47
第五节 分类前馈网络的决策树分析 54
一、前馈网络物理意义的决策树分析 54
二、神经网络学习和工作过程中常见问题的分析 60
第六节 小结 71
第三章 神经网络结构设计的信息论方法 73
第一节 神经网络结构设计 73
一、探索法 74
二、动态修改网络法 74
三、与符号系统相结合的结构设计方法 76
第二节 神经网络结构中的信息最大化 77
一、信息与熵 77
二、条件熵与互信息 80
三、神经网络中的信息理论 81
四、基于信息最大化的网络修剪 84
第三节 离散数据属性分类问题的神经网络结构设计 89
一、前馈网络与决策树 89
二、熵网络 92
三、基于决策树的神经网络构造方法DTBNN 94
四、实验分析与结论 98
一、简介 103
第四节 基于熵准则的神经网络构造方法 103
二、神经元选择的“熵”准则 106
三、基于熵准则的神经网络构造过程 110
四、多类问题的扩展 112
五、EBNN算法的主要性质 115
六、实验及结果分析 118
第五节 小结 122
第四章 基于集成系统的前馈网络增量学习 124
第一节 增量学习算法简介 124
一、增量学习的定义 125
二、神经网络增量学习 128
第二节 基于集成的增量学习 131
一、神经网络集成 131
二、AdaBoost的渐进学习能力 133
三、LEARN＋＋增量学习算法 135
四、EBILNN增量学习 138
第三节 实验分析 145
一、人工实验数据的增量学习结果分析 145
二、Glass分类数据的增量学习性能 148
第四节 小结 151
第五章 研究工作总结与展望 153
第一节 研究工作的总结 153
一、前馈网络的工作机理分析 153
二、神经网络结构设计的信息论方法 154
三、基于集成系统的神经网络增量学习 155
第二节 神经网络技术的前景和进一步的研究工作 156
参考文献 159