第1章 深度学习简介 1
1.1深度学习模型 3
1.1.1单层感知器模型 3
1.1.2多层感知器模型 4
1.1.3卷积神经网络 4
1.1.4循环神经网络 5
1.1.5受限玻耳兹曼机 6
1.1.6深度信念网络 6
1.2其他 7
1.2.1实验设计 7
1.2.2特征选择 7
1.2.3机器学习及深度学习应用 7
1.2.4深度学习的历史 8
1.3小结 9
第2章 数学知识回顾 10
2.1统计学基本概念 10
2.1.1概率 10
2.1.2交与并 11
2.1.3贝叶斯定理 13
2.1.4随机变量 13
2.1.5方差 14
2.1.6标准差 15
2.1.7可决系数 16
2.1.8均方误差 16
2.2线性代数 16
2.2.1标量和向量 16
2.2.2向量的特性 17
2.2.3公理 18
2.2.4子空间 19
2.2.5矩阵 19
2.3小结 41
第3章 优化及机器学习回顾 42
3.1无约束优化 42
3.1.1局部极小值 44
3.1.2全局极小值 44
3.1.3局部极小值的条件 45
3.2近邻算法 46
3.3机器学习方法：有监督学习 47
3.3.1机器学习的历史 47
3.3.2什么是算法 48
3.4回归模型 48
3.5选择合适的学习速率 52
3.5.1牛顿法 57
3.5.2 Levenberg-Marquardt启发式方法 57
3.6多重共线性 58
3.7评价回归模型 61
3.8分类 62
3.8.1逻辑回归 62
3.8.2受试者工作特征曲线 63
3.8.3混淆矩阵 64
3.8.4逻辑回归的局限性 65
3.8.5支持向量机 66
3.9机器学习方法：无监督学习 69
3.9.1 K-均值聚类 70
3.9.2 K-均值聚类的局限性 70
3.10最大期望算法 72
3.11决策树学习 73
3.12集成方法以及其他启发式算法 77
3.13贝叶斯学习 78
3.14强化学习 80
3.15 小结 82
第4章 单层及多层感知器模型 83
4.1单层感知器模型 83
4.1.1训练感知器模型 84
4.1.2 WH算法 84
4.1.3单层感知器模型的局限性 85
4.1.4汇总统计结果 87
4.2多层感知器模型 88
4.2.1收敛得到全局最优解 88
4.2.2 MLP模型中的反向传播算法 89
4.2.3 MLP模型的局限性和讨论 91
4.2.4应该使用几层隐含层，又应该有多少个神经元 92
4.3小结 94
第5章 卷积神经网络 95
5.1 CNN的结构和特点 95
5.2 CNN的组成 97
5.2.1卷积层 97
5.2.2池化层 99
5.2.3修正线性单元层 100
5.2.4全连接层 100
5.2.5损失层 100
5.3参数调整 101
5.4经典的CNN架构 102
5.5正则化 104
5.6小结 105
第6章 循环神经网络 106
6.1完全循环网络 106
6.2使用时间反向传播训练RNN 107
6.3 Elman神经网络 108
6.4神经历史压缩器 109
6.5长短期记忆网络 109
6.6 RNN里的结构化抑制 111
6.7参数调优更新算法 112
6.8 RNN的实际案例：模式检测 112
6.9小结 116
第7章 自编码器、受限玻耳兹曼机及深度信念网络 117
7.1自编码器 117
7.2受限玻耳兹曼机 119
7.3深度信念网络 126
7.4快速学习算法 126
7.5小结 128
第8章 实验设计与启发 129
8.1方差分析 129
8.2 F统计和F分布 130
8.3 Plackett-Burman设计 137
8.4空间填充 138
8.5全因子 139
8.6 Halton、Faure和Sobol序列 139
8.7 A/B测试 140
8.7.1简单双样本A/B测试 141
8.7.2 A/B测试中的β二项层次模型 141
8.8特征、变量选择技术 143
8.8.1后向与前向选择 143
8.8.2主成分分析 144
8.8.3因子分析 146
8.9处理分类数据 147
8.9.1因子水平编码 148
8.9.2分类标签问题：太多水平值 148
8.9.3典型相关分析 148
8.10包裹式、过滤式及嵌入式算法 149
8.11其他局部搜索算法 150
8.11.1登山算法 150
8.11.2遗传算法 150
8.11.3模拟退火 151
8.11.4蚁群优化算法 152
8.11.5变邻域搜索算法 153
8.12反应式搜索优化 154
8.12.1反应式禁忌 154
8.12.2固定禁忌搜索 155
8.12.3反应式禁忌搜索 157
8.12.4 WalkSAT算法 157
8.12.5 K近邻 158
8.13小结 158
第9章 软硬件建议 159
9.1使用标准硬件处理数据 159
9.2固态硬盘和硬盘驱动器 160
9.3图形处理单元 160
9.4中央处理器 161
9.5随机存取存储器 162
9.6主板 162
9.7供电设备 163
9.8机器学习软件的优化 163
9.9小结 164
第10章 机器学习实例 165
10.1问题1：资产价格预测 165
10.1.1问题类型：有监督学习——回归 166
10.1.2实验说明 168
10.1.3特征选择 169
10.1.4模型评价 171
10.2问题2：速配 175
10.2.1问题类型：分类 175
10.2.2数据预处理：数据清洗和填充 176
10.2.3特征选择 179
10.2.4模型训练和评价 180
10.3小结 188
第11章 深度学习及其他实例 189
11.1自编码器 189
11.2卷积神经网络 196
11.2.1预处理 197
11.2.2模型构建和训练 200
11.3协同过滤 206
11.4小结 210
结束语 211