分布式实时计算框架原理及实践案例PDF电子书下载

第1章 分布式实时计算框架介绍 1

1.1 分布式计算Hadoop 1

1.2 分布式实时计算 3

1.2.1 Spark Streaming 3

1.2.2 Storm 6

1.2.3 其他框架 8

1.3 为什么自研 8

1.4 总结 10

第2章 light_drtc简介及使用说明 11

2.1 light_drtc框架简介 11

2.2 light_drtc代码结构 12

2.3 light_drtc重要配置项 14

2.4 light_drtc和Storm比较 15

2.5 light_drtc使用说明 16

2.5.1 ACN （AN和CN整合）作为独立服务 16

2.5.2 CN、 AN作为独立服务 20

2.5.3 任务计算JN 23

2.6 总结 26

第3章 light_drtc核心技术实现 27

3.1 light_drtc技术架构 27

3.2 light_drtc计算框架设计思想 30

3.2.1 CN设计思想 30

3.2.2 AN多主模式设计思想 31

3.2.3 JN设计思想 34

3.3 light drtc核心技术的实现 36

3.3.1 实时收集数据CN 36

3.3.2 任务协调管理AN 40

3.3.3 任务计算JN 49

3.4 总结 50

第4章 消息队列M Q 51

4.1 消息队列使用场景 51

4.2 消息队列原理 53

4.2.1 MQ使用流程 53

4.2.2 MQ基本概念 54

4.2.3 MQ通信模式 55

4.2.4 目前知名MQ比较 56

4.3 MQ消费状态监控 61

4.3.1 KafkaOffsetMonitor介绍 62

4.3.2 KafkaOffsetMonitor部署 62

4.4 RabbitMQ和Kafka的基本使用 64

4.4.1 RabbitMQ读写实例 64

4.4.2 Kafka读写实例 68

4.5 总结 71

第5章 内存数据库Redis3.0及SSDB 72

5.1 Redis相关介绍 72

5.1.1 Redis3.0集群架构 73

5.1.2 Redis3.0集群选举与容错 74

5.1.3 SSDB简介 75

5.2 Redis3.0集群搭建 76

5.2.1 集群所依赖的Ruby环境 77

5.2.2 Redis集群创建 77

5.2.3 Redis集群验证 78

5.2.4 SSDB简单部署 79

5.3 Redis管理及使用 81

5.3.1 Redis基本使用 81

5.3.2 Redis管理 83

5.4 Redis客户端应用 86

5.4.1 Redis3.0客户端 86

5.4.2 SSDB客户端 89

5.5 本地缓存Guava Cache 90

5.5.1 认识Guava Cache 90

5.5.2 Guava Cache使用 91

5.5.3 Java客户端使用 94

5.6 总结 97

第6章 NoSQL： MongoDB3.0和HBase1.0 98

6.1 MongoDB3.0和HBase 1.0新特性 99

6.1.1 MongoDB3.0新特性 99

6.1.2 HBase1.0新特性 102

6.1.3 MongoDB和HBase比较 104

6.2 MongoDB3.0集群和索引 105

6.2.1 MongoDB3.0集群 105

6.2.2 Mongo索引介绍 107

6.3 HBase底层实现介绍 108

6.3.1 HBase相关Hadoop体系 108

6.3.2 HBase系统架构 110

6.4 Mongo和HBase客户端使用 113

6.4.1 Mongo客户端 113

6.4.2 HBase客户端 119

6.5 总结 124

第7章 全文检索：ElasticSearch2.x 125

7.1 认识ElasticSearch和Solr 125

7.1.1 ElasticSearch和Solr基本介绍 125

7.1.2 ES基本概念 127

7.1.3 ES和SolrCloud集群结构 129

7.1.4 ES使用案例 130

7.2 ES和Solr比较分析 131

7.2.1 ES和Solr发展比较 131

7.2.2 ES和Solr综合比较 132

7.3 ES集群介绍 135

7.3.1 插件安装 135

7.3.2 中文分词安装 136

7.3.3 ES2.X集群节点类型 138

7.3.4 ES配置事项 142

7.4 ES客户端使用 144

7.4.1 ES客户端连接 145

7.4.2 ES基本操作 146

7.4.3 ES高级使用 150

7.5 ES在自研框架中的作用 154

7.6 总结 155

第8章 微服务架构通信——RPC和Web Service 156

8.1 微服务架构由来 156

8.1.1 微服务与SOA比较 157

8.1.2 微服务架构的优缺点 159

8.1.3 微服务雪崩效应的防范 161

8.2 RPC介绍及实践 163

8.2.1 Thrift/Nifty介绍 163

8.2.2 Avro介绍 168

8.2.3 Dubbo/Dubbox介绍 180

8.2.4 GRPC/ProtoBuf介绍 185

8.2.5 ZeroC ICE 191

8.3 Web Service介绍及实践 199

8.3.1 SOAP和Rest 200

8.3.2 JWS （JDK自身实现Web Service） 202

8.3.3 Jetty：嵌入式Servlet容器 204

8.3.4 基于Spring MVC 206

8.3.5 其他Web Service框架 211

8.4 总结 212

第9章 综合实例：新闻推荐中的用户画像近实时更新 213

9.1 个性化推荐系统组成 213

9.1.1 用户行为收集 214

9.1.2 行为日志解析 216

9.1.3 常用推荐算法 221

9.1.4 用户画像数据仓库 245

9.1.5 元数据索引库 247

9.1.6 用户推荐服务 248

9.2 新闻推荐中用户画像近实时更新设计 248

9.2.1 新闻推荐中用户画像构成 250

9.2.2 新闻推荐中用户画像标签数据字典 251

9.2.3 新闻推荐用户画像实时更新流程 257

9.3 新闻推荐用户画像近实时更新技术实现 260

9.3.1 Storm接入Kafka实时计算实例 260

9.3.2 Spark Streaming接入Kafka实时计算实例 265

9.3.3 Light_drtc接入Kafka 270

9.3.4 用户画像实时更新核心实现 270

9.4 总结 280