构建实时机器学习系统PDF电子书下载

第1部分 实时机器学习方法论 2

第1章 实时机器学习综述 2

1.1什么是机器学习 2

1.2机器学习发展的前世今生 3

1.2.1历史上机器学习无法调和的难题 3

1.2.2现代机器学习的新融合 4

1.3机器学习领域分类 5

1.4实时是个“万灵丹” 6

1.5实时机器学习的分类 7

1.5.1硬实时机器学习 7

1.5.2软实时机器学习 7

1.5.3批实时机器学习 8

1.6实时应用对机器学习的要求 8

1.7案例：Netflix在机器学习竞赛中学到的经验 9

1.7.1 Netflix用户信息被逆向工程 9

1.7.2 Netflix最终胜出者模型无法在生产环境中使用 9

1.8实时机器学习模型的生存期 10

第2章 实时监督式机器学习 12

2.1什么是监督式机器学习 12

2.1.1“江湖门派”对预测模型的不同看法 13

2.1.2工业界的学术门派 14

2.1.3实时机器学习实战的思路 15

2.2怎样衡量监督式机器学习模型 16

2.2.1统计量的优秀 16

2.2.2应用业绩的优秀 20

2.3实时线性分类器介绍 20

2.3.1广义线性模型的定义 20

2.3.2训练线性模型 21

2.3.3冷启动问题 22

第3章 数据分析工具Pandas 23

3.1颠覆R的Pandas 23

3.2 Pandas的安装 24

3.3利用Pandas分析实时股票报价数据 24

3.3.1外部数据导入 25

3.3.2数据分析基本操作 25

3.3.3可视化操作 26

3.3.4秒级收盘价变化率初探 28

3.4数据分析的三个要点 30

3.4.1不断验证假设 30

3.4.2全面可视化，全面监控化 30

第4章 机器学习工具Scikit-learn 31

4.1如何站在风口上？向Scikit-learn学习 31

4.1.1传统的线下统计软件R 31

4.1.2底层软件黑盒子Weka 32

4.1.3跨界产品Scikit-learn 33

4.1.4 Scikit-learn的优势 33

4.2 Scikit-learn的安装 34

4.3 Scikit-learn的主要模块 35

4.3.1监督式、非监督式机器学习 35

4.3.2建模函数fit和predict 36

4.3.3数据预处理 38

4.3.4自动化建模预测Pipeline 39

4.4利用Scikit-learn进行股票价格波动预测 40

4.4.1数据导入和预处理 41

4.4.2编写专有时间序列数据预处理模块 41

4.4.3利用Pipeline进行建模 43

4.4.4评价建模效果 43

4.4.5引入成交量和高维交叉项进行建模 44

4.4.6本书没有告诉你的 45

第2部分 实时机器学习架构 48

第5章 实时机器学习架构设计 48

5.1设计实时机器学习架构的四个要点 48

5.2 Lambda架构和主要成员 49

5.2.1实时响应层 49

5.2.2快速处理层 50

5.2.3批处理层 50

5.3常用的实时机器学习架构 50

5.3.1瀑布流架构 50

5.3.2并行响应架构 51

5.3.3实时更新模型混合架构 52

5.4小结 53

第6章 集群部署工具Docker 55

6.1 Docker的前世今生 55

6.2容器虚拟机的基本组成部分 56

6.3 Docker引擎命令行工具 57

6.3.1 Docker引擎的安装 57

6.3.2 Docker引擎命令行的基本操作 58

6.4通过Dockerfile配置容器虚拟机 61

6.4.1利用Dockerfile配置基本容器虚拟机 62

6.4.2利用Dockerfile进行虚拟机和宿主机之间的文件传输 62

6.5服务器集群配置工具Docker Compose 64

6.5.1 Docker Compose的安装 64

6.5.2 Docker Compose的基本操作 64

6.5.3利用Docker Compose创建网页计数器集群 65

6.6远端服务器配置工具Docker Machine 68

6.6.1 Docker Machine的安装 68

6.6.2安装Oracle VirtualBox 69

6.6.3创建和管理VirtualBox中的虚拟机 69

6.6.4在Docker Machine和VirtualBox的环境中运行集群 70

6.6.5利用Docker Machine在Digital Ocean上配置运行集群 71

6.7其他有潜力的Docker工具 73

第7章 实时消息队列和RabbitMQ 74

7.1实时消息队列 74

7.2 AMQP和RabbitMQ简介 76

7.3 RabbitMQ的主要构成部分 76

7.4常用交换中心模式 78

7.4.1直连结构 78

7.4.2扇形结构 78

7.4.3话题结构 79

7.4.4报头结构 79

7.5消息传导设计模式 79

7.5.1任务队列 80

7.5.2 Pub／Sub发布／监听 80

7.5.3远程命令 81

7.6利用Docker快速部署RabbitMQ 82

7.7利用RabbitMQ开发队列服务 85

7.7.1准备案例材料 86

7.7.2实时报价存储服务 86

7.7.3实时走势预测服务 89

7.7.4整合运行实验 93

7.7.5总结和改进 95

第8章 实战数据库综述 98

8.1 SQL与NoSQL，主流数据库分类 98

8.1.1关系型数据库 99

8.1.2非关系型数据库NoSQL 99

8.2数据库的性能 100

8.2.1耐分割 100

8.2.2一致性 101

8.2.3可用性 101

8.2.4 CAP定理 101

8.3 SQL和NoSQL对比 102

8.3.1数据存储、读取方式 102

8.3.2数据库的扩展方式 103

8.3.3性能比较 103

8.4数据库的发展趋势 103

8.4.1不同数据库之间自动化同步更为方便 103

8.4.2云数据库的兴起 104

8.4.3底层和应用层多层化 104

8.5 MySQL简介 105

8.6 Cassandra简介 105

8.6.1 Cassandra交互方式简介 105

8.6.2利用Docker安装Cassandra 106

8.6.3使用Cassandra存储数据 106

第9章 实时数据监控ELK集群 107

9.1 Elasticsearch、 LogStash和Kibana的前世今生 107

9.1.1 Elasticsearch的平凡起家 108

9.1.2 LogStash卑微的起源 108

9.1.3 Kibana惊艳登场 109

9.1.4 ELK协同作战 109

9.2 Elasticsearch基本架构 109

9.2.1文档 110

9.2.2索引和文档类型 111

9.2.3分片和冗余 112

9.2.4 Elasticsearch和数据库进行比较 113

9.3 Elasticsearch快速入门 113

9.3.1用Docker运行Elasticsearch容器虚拟机 113

9.3.2创建存储文档、文档类型和索引 114

9.3.3搜索文档 117

9.3.4对偶搜索 120

9.4 Kibana快速入门 124

9.4.1利用Docker搭建ELK集群 125

9.4.2配置索引格式 127

9.4.3交互式搜索 128

9.4.4可视化操作 129

9.4.5实时检测面板 132

第10章 机器学习系统设计模式 134

10.1设计模式的前世今生 134

10.1.1单机设计模式逐渐式微 134

10.1.2微服务取代设计模式的示例 135

10.1.3微服务设计模式的兴起 137

10.2读：高速键值模式 137

10.2.1问题场景 137

10.2.2解决方案 138

10.2.3其他使用场景 139

10.3读：缓存高速查询模式 139

10.3.1问题场景 139

10.3.2解决方案 139

10.3.3适用场景 141

10.4更新：异步数据库更新模式 141

10.4.1问题场景 141

10.4.2解决方案 141

10.4.3使用场景案例 142

10.5更新：请求重定向模式 144

10.5.1问题场景 144

10.5.2解决方案 144

10.5.3更新流程 145

10.5.4使用场景案例 146

10.6处理：硬实时并行模式 146

10.6.1问题场景 146

10.6.2解决方案 147

10.6.3使用场景案例 147

10.7处理：分布式任务队列模式 148

10.7.1问题场景 148

10.7.2解决方案 149

10.7.3 Storm作为分布式任务队列 150

10.7.4适用场景 151

10.7.5结构的演进 152

10.8处理：批实时处理模式 152

10.8.1问题场景 152

10.8.2解决方案 152

10.8.3适用场景 153

第3部分 未来展望 156

第11章Serverless架构 156

11.1 Serverless架构的前世今生 156

11.2 Serverless架构对实时机器学习的影响 157

第12章 深度学习的风口 159

12.1深度学习的前世今生 159

12.2深度学习的难点 161

12.3如何选择深度学习工具 161

12.3.1与现有编程平台、技能整合的难易程度 162

12.3.2此平台除做深度学习之外，还能做什么 163

12.3.3深度学习平台的成熟程度 164

12.4未来发展方向 165