神经网络计算PDF电子书下载

目录 1

第1章　神经网络的应用基础 1

1.1　数学基础 1

1.1.1　矢量与范数 1

1.1.2　函数与同胚 3

1.1.3　矩阵 4

1.1.4 广义逆矩阵和伪逆矩阵 10

1.2.1　数学分析基础 16

1.2　稳定性分析基础 16

1.2.2　连续系统的Lyapunov稳定性 18

1.2.3　离散动力系统的稳定性 23

1.2.4　一般连续时间神经网络的Lyapunov稳定性判别 23

1.2.5　神经网络的关联稳定性和实用稳定性 29

1.2.6　神经网络的随机稳定性 34

1.3　神经网络范式与学习算法 35

1.3.1　概述（42种基本神经网络模型） 35

1.3.2　前向网络范式与算法 37

1.3.3　反馈网络范式与算法 53

1.3.4　随机神经网络范式与学习算法 65

1.3.5　自组织网络范式与算法 72

附录1　神经网络模型与算法索引 88

附录2　神经网络：1943—1992 90

参考文献 103

第2章　神经优化计算 105

2.1　神经优化理论基础 105

2.1.1　预备知识 105

2.1.2　非线性优化的基本方法 108

2.1.3　最优性条件 109

2.1.4　凸性优化 111

2.1.5　神经优化计算 113

2.2　线性神经优化计算 114

2.2.1　线性优化 114

2.2.2　TH线性优化网络 115

2.2.3　LSSM系统 117

2.2.4　新的线性优化神经网络 120

2.2.5　Karmarkar算法的神经网络实现 124

2.2.6　模拟退火TH线性优化网络 131

2.3.1　二次优化 133

2.3　二次神经优化计算 133

2.3.2　二次离散神经优化计算 135

2.3.3　基于TH网络的二次优化计算 140

2.3.4　无约束LS神经计算 153

2.3.5　基于Hopfield网络的递归LS计算 155

2.3.6　线性约束LS神经计算 156

2.3.7　有界约束LS神经计算 157

2.3.8　凸性神经优化网络设计 160

2.4.1　非线性优化 170

2.4　非线性神经优化 170

2.4.2　容度与余容度原理 177

2.4.3　非线性神经优化典则动态电路 179

2.4.4　TH网络与余容度函数 182

2.4.5　线性等式约束非线性神经优化 191

2.5　组合优化的神经计算 195

2.5.1　组合优化问题 195

2.5.2　基于Hopfield网络的TSP 196

2.5.3　基于模拟退火的TSP 202

2.5.4　硬件退火理论 204

2.5.5　均场退火理论与算法 207

2.5.6　均场退火下的TSP 210

2.5.7　基于弹性网络和自组织映射的TSP 213

2.5.8　三维约束TSP的SA求解 216

2.5.9　组合优化的一种新方法 219

2.5.10　典型组合优化问题的神经计算 224

2.6　神经网络的能量函数分析 238

2.6.1 基本定义 241

2.6.2　能量函数分析 242

2.6.3　最小状态 245

2.7　用于神经网络的优化理论与方法 249

2.7.1　梯度方法 249

2.7.2　动态规划方法 256

2.7.3　线性规划算法 260

2.7.4　多尺度优化方法 264

2.8　同伦神经优化理论与方法 268

2.8.1　神经计算的基本问题省思 268

2.8.2　同伦理论与算法 270

2.8.3　矩阵的Household分解 274

2.8.4 同伦算法的具体实施 275

2.8.5　同伦BP算法 279

2.8.6　基于同伦方法的无穷维 280

凸性优化 280

参考文献 294

第3章　矩阵代数的并行处理与神经计算 296

3.1　VLSI并行计算 296

3.1.1　VLSI并行结构 296

3.1.2　矩阵的LU分解与求逆 300

3.1.3　线性方程组求解 309

3.1.4　Toeplitz矩阵分解 311

3.1.5　矩阵的特征值与特征矢量 312

3.1.6　矩阵的奇异值分解 317

3.2　基于前向多层神经网络的自适应并行神经计算 321

3.2.1 结构化多层前向网络模型 322

3.2.2　BP学习算法族 322

3.2.3　LU分解 324

3.2.4　QR分解 333

3.2.5　奇异值分解 339

3.2.6　线性方程求解与矩阵求逆 343

3.2.7　特征值与特征矢量计算 345

3.2.8　矩阵Riceati方程求解 347

3.2.9　结构化神经网络学习算法的收敛性 355

3.2.10　基于三维结构化神经网络的矩阵方程求解 369

3.3　基于Hopfield网络的矩阵代数计算 382

3.3.1　基本线性方程求解 382

3.3.2　病态方程求解 389

3.3.3　线性微分方程两端边值问题求解 393

3.3.4　矩阵求逆 396

3.3.5　特征值与特征矢量计算 408

3.4　特征值与特征矢量求解的同伦算法 413

3.4.1　对称特征值问题 413

3.4.2　广义特征值问题 415

3.4.3　同伦特征值算法 421

3.4.4　并行同伦算法 426

参考文献 431

4.1.2　基本问题 433

4.1.1　基本原理 433

4.1　引言 433

第4章　联想记忆神经网络及其应用 433

4.1.3　AM网络的设计与综合 434

4.2　线性AM网络 435

4.2.1　矩阵AM 435

4.2.2　全息AM 436

4.2.3　Walsh AM 437

4.3.1　最优线性AM 438

4.3.2　改进的最优线性AM 438

4.3　最优线性AM 438

4.4　基于投影原理的双向AM网络 443

4.4.1　双向AM（BAM） 443

4.4.2　交替投影神经网络（APNN） 443

4.4.3　双向APNN 448

4.5　基于Hopfield型网络的AM 452

4.5.1　对称Hopfield AM网络 452

4.5.2 具有自反馈的Hopfield AM网络 452

4.5.3　一般AM网络 455

4.6.1 递归网络与AM 463

4.6　用于AM的高阶Hopfield网络 463

4.6.2 一阶递归网络用于AM 465

4.6.3 高阶网络用于AM 469

4.7　AM网络设计的基本方法 475

4.7.1 外积法（OPM） 475

4.7.2　投影学习规则 476

4.7.3　特征结构法 477

4.7.4 非对称连接权值矩阵的网络综合 480

4.8.1 同步离散Hopfield AM网络的综合 483

4.8　AM神经网络的综合与设计Ⅰ：伪逆方法 483

4.8.2　AM中的学习／遗忘算法 491

4.8.3　连续Hopfield AM网络的综合 499

4.9　AM神经网络的综合与设计Ⅱ：特征结构法 504

4.9.1 超立方体上的离散时间神经网络综合 504

4.9.2　AM中的学习／遗忘算法 518

4.9.3　超闭正方体上线性AM 531

神经网络的综合 531

参考文献 535