第1章 Storm简介 2
1.1 什么是Storm 2
1.2 Storm的诞生 3
1.2.1 从Twitter说起 3
1.2.2 Twitter需要处理大批实时性要求高的大数据业务 4
1.2.3 Storm帮助Twitter解决实时海量大数据处理问题 4
1.3 Storm的成长 5
1.3.1 Storm正式开源 5
1.3.2 Storm的核心技术和基本组成 6
1.3.3 Storm的项目小组 7
1.3.4 Storm的技术支持网站 12
1.4 Storm的优势 15
1.4.1 集成多种技术 15
1.4.2 简单的API 16
1.4.3 可扩展的 16
1.4.4 容错的 16
1.4.5 保证数据处理 17
1.4.6 可以使用任何语言 17
1.4.7 部署和操作简单 17
1.4.8 自由开源 17
1.5 Storm的应用现状和发展趋势 18
1.5.1 应用现状 18
1.5.2 发展趋势 20
1.6 如何学习Storm 22
1.7 本书的章节安排及学习建议 23
1.7.1 本书的章节安排 23
1.7.2 关于如何阅读本书的建议 24
1.8 本章小结 24
第2章 Storm的基本知识 26
2. 1概念 26
2.1.1 元组（Tuple） 26
2.1.2 流（Stream） 27
2.1.3 喷口（Spout） 28
2.1.4 螺栓（Bolt） 28
2.1.5 拓扑（Topology） 29
2.1.6 主控节点与工作节点 29
2.1.7 Nimbus进程与Supervisor进程 29
2.1.8 流分组（Stream grouping） 30
2.1.9 工作进程（Worker） 30
2.1.10 任务（Task） 30
2.1.11 执行器（Executor） 30
2.1.12 可靠性（Reliability） 30
2.2 Storm的配置 31
2.2.1 Storm的配置类型 31
2.2.2 defaults.yaml文件 32
2.2.3 storm.yaml文件 35
2.2.4 Config类 36
2.3 序列化（Serialization） 37
2.3.1 动态类型 37
2.3.2 自定义序列化 37
2.3.3 Java序列化 38
2.3.4 特定组件序列化注册 38
2.4 容错机制 39
2.4.1 Worker进程死亡 39
2.4.2 节点死亡 39
2.4.3 Nimbus或者Supervisor守护进程死亡 39
2.4.4 Nimbus是否是“单点故障”的 39
2.5 可靠性机制——保证消息处理 40
2.5.1 消息被“完全处理”的含义 40
2.5.2 如果一个消息被完全处理或完全处理失败会发生什么 41
2.5.3 Storm如何保证可靠性 41
2.5.4 Storm如何实现可靠性 44
2.5.5 调节可靠性 45
2.6 消息传输机制 46
2.6.1 ZeroMQ 46
2.6.2 Netty 46
2.6.3 自定义消息通信机制 47
2.7 Storm的开发环境与生产环境 47
2.7.1 开发环境与本地模式 47
2.7.2 生产环境与远程模式 47
2.7.3 开发环境与生产环境的对比 48
2.8 Storm拓扑的并行度（parallelism） 49
2.8.1 工作进程、执行器和任务 49
2.8.2 配置拓扑的并行度 50
2.8.3 拓扑示例 51
2.8.4 如何改变运行中拓扑的并行度 52
2.9 Storm命令行客户端 53
2.10 Javadoc文档 57
2.11 本章小结 57
第3章 拓扑详解 59
3.1 什么是拓扑 59
3.2 TopologyBuilder 59
3.3 流分组 61
3.3.1 什么是流分组 61
3.3.2 不同的流分组方式 62
3.4 一个简单的拓扑 66
3.5 在本地模式下运行拓扑 69
3.6 在生产集群上运行拓扑 70
3.6.1 常见的配置 71
3.6.2 杀死拓扑 72
3.6.3 更新运行中的拓扑 72
3.6.4 监控拓扑 72
3.7 拓扑的常见模式 72
3.7.1 流连接（Stream Join） 72
3.7.2 批处理（Batching） 73
3.7.3 BasicBolt 73
3.7.4 内存中缓存与字段的组合 73
3.7.5 流的top N 74
3.7.6 高效保存最近更新缓存对象的TimeCacheMap（已弃用） 76
3.7.7 分布式RPC的CoordinatedBolt与KeyedFairBolt 76
3.8 本地模式与StormSubmitter的对比 76
3.9 多语言协议（Multi-Language Protocol） 78
3.10 使用非JVM语言操作Storm 82
3.10.1 支持的非Java语言 82
3.10.2 对Storm使用非Java语言 82
3.10.3 实现非Java DSL的笔记 82
3.11 Hook 83
3.12 本章小结 84
第4章 组件详解 86
4.1 基本接口 86
4.1.1 IComponent接口 86
4.1.2 ISpout接口 86
4.1.3 IBolt接口 88
4.1.4 IRichSpout与IRichBolt接口 89
4.1.5 IBasicBolt接口 90
4.1.6 IStateSpout与IRichStateSpout接口 90
4.2 基本抽象类 91
4.2.1 BaseComponent抽象类 91
4.2.2 BaseRichSpout抽象类 92
4.2.3 BaseRichBolt抽象类 93
4.2.4 BaseBasicBolt抽象类 93
4.3 事务接口 94
4.3.1 IPartitionedTransactionalSpout 94
4.3.2 IOpaquePartitionedTransactionalSpout 95
4.3.3 ITransactionalSpout 96
4.3.4 ICommitterTransactionalSpout 98
4.3.5 IBatchBolt 98
4.4 组件之间的相互关系 98
4.5 本章小结 100
第5章 Spout详解 102
5.1 可靠的与不可靠的消息 102
5.2 Spout获取数据的方式 104
5.2.1 直接连接（Direct Connection） 105
5.2.2 消息队列（Enqueued Messages） 106
5.2.3 DRPC（分布式RPC） 106
5.3 常用的Spout 107
5.3.1 Kestrel作为Spout的数据源 107
5.3.2 AMQP作为Spout的数据源 107
5.3.3 JMS作为Spout的数据源 107
5.3.4 Redis作为Spout的数据源 108
5.3.5 beanstalkd作为Spout的数据源 108
5.4 学习编写Spout类 108
5.5 本章小结 109
第6章 Bolt详解 111
6.1 Bolt概述 111
6.2 可靠的与不可靠的Bolt 112
6.2.1 使用Anchoring机制实现可靠的Bolt 112
6.2.2 使用IBasicBolt接口实现自动确认 113
6.3 复合流与复合Anchoring 114
6.3.1 复合流 114
6.3.2 复合Anchoring 114
6.4 使用其他语言定义Bolt 114
6.5 学习编写Bolt类 115
6.5.1 可靠的Bolt 115
6.5.2 不可靠的Bolt 116
6.6 本章小结 117
第7章 ZooKeeper详解 119
7.1 ZooKeeper简介 119
7.2 ZooKeeper的下载和部署 119
7.2.1 ZooKeeper的下载 119
7.2.2 ZooKeeper的部署 120
7.3 ZooKeeper的配置 121
7.4 ZooKeeper的运行 123
7.5 ZooKeeper的本地模式实例 125
7.6 ZooKeeper的数据模型 126
7.6.1 ZNode 126
7.6.2 ZooKeeper中的时间 127
7.6.3 ZooKeeper的Stat结构 128
7.7 ZooKeeper的命令行操作范例 128
7.8 Storm在ZooKeeper中的目录结构 131
7.9 本章小结 132
第8章 基础软件的安装与使用 134
8.1 Linux的基本操作 134
8.1.1 环境变量 134
8.1.2 常用命令 135
8.2 JDK的下载与配置 138
8.2.1 Sun JDK的下载 138
8.2.2 在Linux下安装JDK 140
8.2.3 在Windows下安装JDK 141
8.3 GitHub托管项目的下载 146
8.4 Maven的下载与配置 147
8.4.1 Maven的下载 148
8.4.2 在Linux下部署Maven 149
8.4.3 在Windows下部署Maven 149
8.5 其他软件——Notepad++ 151
8.6 本章小结 151
第9章 Storm的安装与配置 153
9.1 Storm集群的安装步骤与准备工作 153
9.1.1 搭建ZooKeeper集群 153
9.1.2 安装Storm的本地依赖 153
9.1.3 下载并解压Storm发行版本 156
9.1.4 配置storm.yaml文件 157
9.1.5 启动Storm的守护进程 159
9.2 本地模式的Storm完整的配置命令 161
9.3 本章小结 162
第10章 Storm集群搭建实践 164
10.1 准备工作 164
10.1.1 概述 164
10.1.2 配置hosts文件 164
10.1.3 配置静态IP 165
10.1.4 集群SSH无密码 166
10.1.5 修改主机名 167
10.1.6 关闭防火墙 168
10.1.7 同步时间 168
10.1.8 安装JDK 168
10.2 ZooKeeper集群的搭建 169
10.2.1 部署第一个节点 169
10.2.2 部署第i个节点 170
10.2.3 启动ZooKeeper集群 171
10.2.4 查看ZooKeeper状态 171
10.2.5 关闭ZooKeeper集群 171
10.2.6 清理ZooKeeper集群 171
10.3 Storm集群的搭建 172
10.3.1 安装Storm依赖（每个Storm节点） 172
10.3.2 部署第一个节点 173
10.3.3 部署第i个节点 174
10.3.4 启动Storm守护进程 174
10.4 本章小结 175
第11章 准备Storm的开发环境 177
11.1 Storm的开发环境 177
11.1.1 什么是Storm的开发环境 177
11.1.2 如何管理Storm 177
11.1.3 如何提交拓扑到集群 181
11.2 Eclipse的下载与配置 182
11.2.1 Eclipse的下载 182
11.2.2 Eclipse的配置与运行 183
11.2.3 Eclipse插件的安装 184
11.3 使用Maven管理项目 186
11.3.1 Maven的下载与配置 186
11.3.2 配置pom.xml文件 186
11.3.3 运行Maven命令 188
11.4 使用Nexus搭建本地Maven私服 188
11.4.1 下载Nexus 189
11.4.2 运行Nexus 189
11.4.3 登录Nexus后台 190
11.4.4 配置Repositories 191
11.4.5 配置setting.xml文件 192
11.4.6 修改Eclipse的Maven插件的配置 194
11.5 使用SVN管理代码版本 195
11.5.1 在Windows下搭建SVN服务器 195
11.5.2 在Linux下搭建SVN服务器 196
11.5.3 安装SVN客户端 197
11.6 部署单节点的Storm集群 197
11.6.1 部署伪分布的ZooKeeper 197
11.6.2 部署伪分布的Storm集群 198
11.7 本章小结 199
第12章 开发自己的Storm应用 201
12.1 新建Maven项目 201
12.2 修改为适合Storm开发的项目 203
12.2.1 对包名进行分类管理 203
12.2.2 修改pom.xml文件 204
12.3 编写代码 206
12.3.1 编写Spout类 206
12.3.2 编写Bolt类 207
12.3.3 编写Topology类 208
12.4 本地测试运行 209
12.5 提交到Storm集群运行 210
12.5.1 使用Maven打包 210
12.5.2 提交jar包到集群 210
12.6 本章小结 211
第13章 storm-starter详解 213
13.1 storm-starter项目概述 213
13.2 storm-starter的下载 215
13.3 使用Maven进行管理 215
13.3.1 使用Maven打包storm-starter 215
13.3.2 使用Maven直接运行WordCountTopology 216
13.3.3 使用Maven运行单元测试 216
13.4 在Eclipse中运行 216
13.4.1 新建Maven项目的方式 216
13.4.2 导入已存在的项目的方式 218
13.5 storm-starter的入门例子 219
13.5.1 ExclamationTopology 219
13.5.2 WordCountTopology 222
13.5.3 ReachTopology 224
13.6 storm-starter的其他例子 230
13.6.1 BasicDRPCTopology 230
13.6.2 ManualDRPC 231
13.6.3 PrintSampleStream 231
13.6.4 RollingTopWords 232
13.6.5 SingleJoinExample 233
13.6.6 TransactionalGlobalCount 234
13.6.7 TransactionalWords 234
13.7 本章小结 235
第14章 研发与集群管理技巧 237
14.1 使用daemontools监控Storm进程 237
14.1.1 daemontools简介 237
14.1.2 安装daemontools 237
14.1.3 编写监控脚本 238
14.2 使用Monit监控Storm 240
14.2.1 Monit简介 240
14.2.2 安装Monit 240
14.2.3 配置Monit 242
14.2.4 启动Monit 244
14.2.5 获取Monit帮助信息 245
14.3 常用的集群操作命令 246
14.4 使用Storm的经验与建议 247
14.5 本章小结 248
第15章 DRPC详解 250
15.1 概述 250
15.2 DRPCTopologyBuilder 251
15.2.1 LinearDRPCTopologyBuilder 251
15.2.2 LinearDRPCTopologyBuilder提供的方法 251
15.2.3 LinearDRPCTopologyBuilder使用范例 252
15.2.4 LinearDRPCTopologyBuilder的工作原理 253
15.2.5 LinearDRPCTopologyBuilder目前已弃用 254
15.3 本地模式的DRPC 254
15.4 远程模式的DRPC 254
15.5 一个复杂的DRPC例子（计算reach值） 255
15.6 非线性DRPC 257
15.7 本章小结 257
第16章 事务拓扑详解 259
16.1 什么是事务拓扑 259
16.1.1 设计1 259
16.1.2 设计2 260
16.1.3 设计3（Storm的设计） 260
16.2 事务拓扑的设计细节 261
16.3 事务拓扑的实现细节 261
16.3.1 事务Spout的工作原理 262
16.3.2 “对于给定的事务id不能发射相同的Batch”的处理 262
16.3.3 更多的细节 264
16.4 事务拓扑API 264
16.4.1 Bolt 264
16.4.2 事务Spout 266
16.4.3 配置 266
16.5 TransactionalTopologyBuilder 267
16.5.1 TransactionalTopologyBuilder提供的方法 267
16.5.2 TransactionalTopologyBuilder类已弃用 270
16.6 一个简单的例子 270
16.7 本章小结 273
第17章 Trident详解 275
17.1 Trident概述 275
17.1.1 简单的例子——单词统计（TridentWordCount） 275
17.1.2 另一个例子——计算Reach值（TridentReach） 278
17.1.3 字段和元组 280
17.1.4 状态（State） 281
17.1.5 Trident拓扑的执行 282
17.2 Trident API 283
17.2.1 概述 283
17.2.2 本地分区操作 283
17.2.3 重新分区操作 288
17.2.4 聚合操作 288
17.2.5 流分组操作 288
17.2.6 合并与连接 289
17.3 Trident的状态 290
17.3.1 Trident状态分类 290
17.3.2 事务Spout（Transactional Spout） 291
17.3.3 不透明事务Spout（Opaque Transactional Spout） 292
17.3.4 非事务Spout（Non-transactional Spout） 294
17.3.5 Spout与State之间的联系 294
17.3.6 State API 294
17.3.7 persistentAggregate方法 298
17.3.8 实现MapStates 299
17.4 Trident Spout 299
17.4.1 流水线（Pipelining） 300
17.4.2 Trident Spout的类型 300
17.5 本章小结 300
第18章 Storm的内部实现 302
18.1 文件系统分析 302
18.2 数据目录结构 303
18.2.1 Nimbus节点的目录结构 303
18.2.2 Supervisor节点的目录结构 304
18.3 代码库的结构 305
18.3.1 storm.thrift 305
18.3.2 Java接口 312
18.3.3 实现 312
18.4 拓扑的生命周期 314
18.4.1 启动拓扑 315
18.4.2 监控拓扑 317
18.4.3 杀死拓扑 317
18.5 Acking框架的实现 318
18.5.1 异或计算的基本原理 318
18.5.2 Acking框架的实现原理 318
18.5.3 Acker的execute方法 319
18.5.4 待定元组（pending tuple）和RotatingMap 319
18.6 Metric 319
18.7 本章小结 325
第19章 Storm相关的其他项目 327
19.1 JStorm项目 327
19.1.1 项目简介 327
19.1.2 下载与部署 328
19.1.3 源代码编译 329
19.2 storm-deploy项目 329
19.3 Storm与Kafka 329
19.3.1 Kafka简介 329
19.3.2 Kafka的安装 330
19.3.3 启动服务 331
19.3.4 测试运行 331
19.3.5 Storm与Kafka的项目 333
19.4 storm-kestrel项目 334
19.4.1 storm-kestrel项目简介 334
19.4.2 使用storm-kestrel项目 334
19.4.3 Kestrel服务器和队列 335
19.4.4 添加元素到kestrel 336
19.4.5 从Kestrel中移除元素 336
19.4.6 持续添加元素到Kestrel 337
19.4.7 使用KestrelSpout 338
19.4.8 执行 339
19.5 本章小结 339
第20章 企业应用案例 341
20.1 Storm席卷众多互联网企业 341
20.1.1 Storm的典型应用场景 341
20.1.2 Storm的三大基本应用 341
20.2 Storm在Twitter中的应用 342
20.2.1 Twitter公司简介 342
20.2.2 Storm帮助Twitter提升产品性能 343
20.2.3 MapR在Twitter中的应用简介 343
20.3 Storm在阿里巴巴集团的应用 344
20.3.1 阿里巴巴集团简介 345
20.3.2 Storm在阿里巴巴的应用 345
20.3.3 Storm在淘宝公司的应用 346
20.3.4 Storm在支付宝公司的应用 347
20.4 其他应用Storm的知名企业和项目 347
20.5 本章小结 363
参考资料 364