深入理解AutoML和AutoDL 构建自动化机器学习与深度学习平台PDF电子书下载

第1章 人工智能概述 1

1.1 全面了解人工智能 1

1.1.1 人工智能定义 1

1.1.2 弱人工智能、强人工智能与超人工智能 2

1.1.3 人工智能三大主义 3

1.1.4 机器学习与深度学习 4

1.2 人工智能发展历程 5

1.3 深度学习的崛起之路 7

1.3.1 人脸识别的起源 7

1.3.2 自动驾驶的福音 7

1.3.3 超越人类的AI智能体 8

1.3.4 懂你的AI 8

1.3.5 奔跑、飞行以及玩游戏的AI 8

1.3.6 人人都可以创造属于自己的AI 8

1.4 深度学习的发展 9

1.4.1 计算机视觉 9

1.4.2 自然语言处理 10

1.4.3 语音识别 11

1.5 下一代人工智能 11

1.6 参考文献 13

第2章 自动化人工智能 14

2.1 AutoML概述 14

2.1.1 什么是自动化 14

2.1.2 AutoML的起源与发展 15

2.2 AutoML的研究意义 17

2.2.1 AutoML的研究动机 17

2.2.2 AutoML的意义和作用 18

2.3 现有AutoML平台产品 21

2.3.1 谷歌Cloud AutoML 21

2.3.2 百度EasyDL 23

2.3.3 阿里云PAI 24

2.3.4 探智立方DarwinML 28

2.3.5 第四范式AI ProphetAutoML 29

2.3.6 智易科技 30

2.4 参考文献 31

第3章 机器学习概述 32

3.1 机器学习的发展 32

3.1.1 “机器学习”名字的由来 32

3.1.2 “机器学习”的前世今生 33

3.1.3 “机器学习”的理论基础 34

3.2 机器学习的实现方法 36

3.2.1 分类问题 36

3.2.2 回归问题 38

3.2.3 聚类问题 39

3.3 自动化机器学习 40

3.3.1 机器学习面临的问题 40

3.3.2 为什么会产生AutoML 41

3.4 参考文献 41

第4章 自动化特征工程 43

4.1 特征工程 43

4.1.1 什么是特征 43

4.1.2 什么是特征工程 44

4.2 特征工程处理方法 45

4.2.1 特征选择 45

4.2.2 数据预处理 47

4.2.3 特征压缩 48

4.3 手工特征工程存在的问题 49

4.4 自动化特征工程 50

4.4.1 什么是自动化特征工程 50

4.4.2 机器学习和深度学习的特征工程 51

4.5 自动化特征工程生成方法 52

4.5.1 深度特征合成算法 52

4.5.2 Featuretools自动特征提取 52

4.5.3 基于时序数据的自动化特征工程 56

4.6 自动化特征工程工具 67

4.6.1 自动化特征工程系统 67

4.6.2 自动化特征工程平台 71

4.7 参考文献 75

第5章 自动化模型选择 76

5.1 模型选择 76

5.2 自动化模型选择 77

5.2.1 基于贝叶斯优化的自动化模型选择 78

5.2.2 基于进化算法的自动化模型选择 84

5.2.3 分布式自动化模型选择 86

5.2.4 自动化模型选择的相关平台 92

5.3 自动集成学习 94

5.3.1 集成学习基础 94

5.3.2 集成学习之结合策略 97

5.3.3 自动化模型集成 98

5.4 参考文献 99

第6章 自动化超参优化 101

6.1 概述 101

6.1.1 问题定义 103

6.1.2 搜索空间 103

6.1.3 搜索策略 103

6.1.4 评价预估 104

6.1.5 经验迁移加速 105

6.2 基本方法 105

6.2.1 网格搜索 105

6.2.2 随机搜索 105

6.3 基于模型的序列超参优化 106

6.3.1 代理模型的选择 108

6.3.2 代理模型的更新 108

6.3.3 新超参组的选择 109

6.3.4 基于高斯过程回归的序列超参优化 111

6.3.5 基于随机森林算法代理的序列超参优化 112

6.3.6 基于TPE算法的序列超参优化 114

6.3.7 SMBO的进阶技巧 114

6.4 基于进化算法的自动化超参优化 115

6.4.1 基于进化策略的自动化超参优化 115

6.4.2 基于粒子群算法的自动化超参优化 116

6.5 基于迁移学习的超参优化加速方法 117

6.5.1 经验迁移机制 117

6.5.2 经验迁移衰退机制 117

6.5.3 经验迁移权重机制 117

6.5.4 优化过程的试点机制 118

6.6 参考文献 118

第7章 深度学习基础 120

7.1 深度学习简介 120

7.1.1 什么是神经元 120

7.1.2 人工神经网络的发展历程 121

7.1.3 深度学习方法 123

7.2 卷积神经网络简介 123

7.2.1 卷积层 123

7.2.2 池化层 125

7.2.3 全连接层 126

7.3 CNN经典模型 126

7.3.1 LeNet 126

7.3.2 AlexNet 127

7.3.3 VGGNet 128

7.3.4 GoogLeNet 129

7.3.5 ResNet 130

7.3.6 DenseNet 131

7.4 循环神经网络 132

7.4.1 基本循环神经模型 132

7.4.2 LSTM模型 133

7.4.3 GRU模型 134

7.5 参考文献 134

第8章 自动化深度学习概述 136

8.1 深度学习vs自动化深度学习 136

8.2 什么是NAS 136

8.2.1 问题定义 137

8.2.2 搜索策略 139

8.2.3 加速方案 140

8.3 NAS方法分类 140

第9章 基于强化学习的AutoDL 142

9.1 强化学习基础 142

9.1.1 强化学习简介 142

9.1.2 基本要素及问题定义 144

9.1.3 发展历史 144

9.1.4 基本方法 146

9.2 两类基本模型 147

9.2.1 TD经典算法 148

9.2.2 DQN系列算法 149

9.2.3 策略梯度算法 152

9.3 强化学习之Actor-Critic系列 154

9.3.1 Actor-Critic算法 154

9.3.2 确定性策略梯度 155

9.3.3 深度确定性策略梯度 157

9.3.4 异步优势Actor-Critic算法 158

9.3.5 近端策略优化 160

9.3.6 分布式近端策略优化 164

9.4 基于强化学习的自动搜索 166

9.5 基本搜索方法 166

9.5.1 基于层的搜索 166

9.5.2 基于块的搜索 169

9.5.3 基于连接的搜索 171

9.6 进阶搜索方法 173

9.6.1 逆强化学习 173

9.6.2 图超网络 174

9.6.3 蒙特卡洛树搜索 175

9.6.4 知识提炼（教师网络） 177

9.7 参考文献 179

第10章 基于进化算法的AutoDL 181

10.1 启发式算法 181

10.1.1 随机搜索 182

10.1.2 近邻搜索 183

10.1.3 进化计算 187

10.1.4 启发式算法的局限性 189

10.2 初代进化算法 190

10.2.1 基本术语 190

10.2.2 基础算子 191

10.2.3 遗传算法 196

10.2.4 进化策略 198

10.2.5 进化规划 199

10.3 其他近代进化算法 200

10.3.1 遗传编程算法簇 200

10.3.2 群体算法——以PSO为例 205

10.3.3 文化基因算法 207

10.3.4 差分进化算法 208

10.3.5 分布估计算法 208

10.4 进化神经网络 209

10.4.1 简介 209

10.4.2 神经网络编码方式 210

10.4.3 竞争约定 211

10.4.4 网络结构的创新性 212

10.4.5 NAS之进化算法 212

10.5 细粒度的神经进化（NEAT算法） 213

10.5.1 基因编码 214

10.5.2 基因的可追溯性 216

10.5.3 通过物种形成保护创新结构 216

10.6 粗粒度的神经进化（CoDeep-NEAT算法） 218

10.6.1 DeepNEAT算法 218

10.6.2 CoDeepNEAT算法 219

10.7 block-level的进化 220

10.7.1 Genetic CNN算法 220

10.7.2 CGP-CNN方法 222

10.8 基于node-level的网络架构进化 224

10.8.1 思想简介 224

10.8.2 基本算法设计 225

10.8.3 信息复用与加速 226

10.9 基于NAS搜索空间的网络架构进化 227

10.9.1 思想简介 227

10.9.2 基本算法设计 227

10.9.3 信息复用与加速 228

10.10 基于层次拓扑表示的网络进化方法 228

10.10.1 思想简介 228

10.10.2 分级表示 229

10.10.3 随机的层次分级进化 230

10.11 参考文献 230

第11章 AutoDL高阶 233

11.1 搜索加速之权值共享法 233

11.1.1 ENAS 233

11.1.2 基于稀疏优化的NAS 235

11.2 基于one-shot模型的架构搜索 236

11.2.1 超网络的应用 236

11.2.2 基于one-shot的搜索 237

11.2.3 实例级架构搜索 238

11.2.4 单路径超网络 240

11.3 搜索加速之代理评估模型 241

11.3.1 代理模型 241

11.3.2 PNAS中的LSTM代理 242

11.4 基于网络态射法的神经架构搜索 244

11.4.1 网络态射的提出 244

11.4.2 什么是网络态射 244

11.4.3 网络态射＋迂回爬山法 246

11.5 可微分神经架构搜索 247

11.5.1 可微分神经架构搜索的来源 247

11.5.2 可微分神经架构搜索的方法 248

11.6 参考文献 250

第12章 垂直领域的AutoDL 252

12.1 AutoCV 252

12.1.1 Auto-DeepLab（图像语义分割） 252

12.1.2 随机连线神经网络 257

12.2 AutoVoice 261

12.2.1 关键词定位问题定义 261

12.2.2 随机自适应架构搜索原理 262

12.2.3 SANAS模型 262

12.3 AutoNLP 263

12.3.1 什么是自注意力机制 263

12.3.2 初识Transformer模型 265

12.3.3 Evolved Transformer结构 266

12.4 参考文献 270

第13章 自动化模型压缩与加速 271

13.1 从生物角度看模型压缩的重要性 271

13.1.1 人脑神经元的修剪 271

13.1.2 大脑的冗余性 272

13.1.3 修剪的意义 273

13.2 模型压缩发展概述 274

13.3 入门级方法：量化技术 275

13.3.1 量化技术 275

13.3.2 二值化网络 276

13.3.3 TensorRT 277

13.4 初级方法：修剪法 278

13.4.1 修剪法 278

13.4.2 修剪与修复 279

13.5 中级方法：稀疏化技术 281

13.5.1 正则化 281

13.5.2 知识精炼 281

13.5.3 张量分解 281

13.6 高级方法：轻量级模型设计 284

13.6.1 简化卷积操作 284

13.6.2 深度可分离卷积 285

13.6.3 改进的Inception 287

13.7 自动化模型压缩技术 289

13.7.1 AMC算法 289

13.7.2 PocketFlow框架 291

13.8 基于AutoDL的轻量级模型 292

13.8.1 问题定义 292

13.8.2 帕累托最优问题 293

13.8.3 进化算法的应用 294

13.8.4 强化学习的应用 296

13.8.5 可微分架构搜索 298

13.9 参考文献 300

第14章 元学习 302

14.1 什么是元学习 302

14.1.1 基本介绍 302

14.1.2 经典案例 303

14.1.3 深入了解元学习 304

14.1.4 元学习应用的发展 306

14.2 元学习的通用流程 306

14.2.1 基本定义 306

14.2.2 流程框架 306

14.3 从模型评估中学习 307

14.3.1 任务无关推荐 308

14.3.2 参数空间设计 308

14.3.3 参数转换 309

14.3.4 学习曲线 310

14.4 从任务属性中学习 310

14.4.1 元特征 310

14.4.2 学习元特征 311

14.4.3 相似任务的热启动优化 311

14.4.4 元模型 311

14.4.5 管道合成 312

14.4.6 是否调整 312

14.5 从先前模型中学习 312

14.5.1 迁移学习 313

14.5.2 神经网络中的元学习 313

14.5.3 小样本学习 314

14.5.4 监督学习之外的方法 315

14.6 基于模型的方法 316

14.6.1 记忆增强神经网络 316

14.6.2 元网络 317

14.6.3 模型无关的元学习方法 317

14.6.4 利用注意力机制的方法 319

14.6.5 基于时间卷积的方法 320

14.6.6 基于损失预测的方法 321

14.6.7 元强化学习 321

14.7 基于度量的方法 322

14.7.1 Siamese网络 322

14.7.2 匹配网络 324

14.7.3 关系网络 324

14.7.4 原型网络 325

14.8 基于优化的方法 326

14.8.1 基于LSTM网络的元学习者 326

14.8.2 未知模型的元学习 326

14.8.3 Reptile：可扩展元学习方法 327

14.8.4 基于梯度预测的方法 327

14.9 参考文献 329

结束语 332