大数据架构之道与项目实战PDF电子书下载

第1章 企业级大数据平台服务的总体设计 2

1.1 平台架构设计的总体技术要求 2

1.2 微服务引擎的可扩展性设计 6

1.3 微服务引擎的优秀解决方案 8

1.3.1 高并发采集微服务 11

1.3.2 灵活转发微服务 12

1.3.3 高可扩展海量存储服务 13

1.3.4 高并发海量存储服务 13

1.3.5 高可靠海量存储服务 15

1.3.6 实时计算服务 16

1.3.7 基于机器学习的智能分析服务 17

1.3.8 自定义迁移服务 17

1.4 设计小结 17

第2章 大数据高并发采集微服务引擎 20

2.1 核心需求分析和优秀解决方案 20

2.2 服务引擎的技术架构设计 20

2.2.1 Maven与Eclipse集成配置 22

2.2.2 Mina2.0框架以及业务设计 24

2.2.3 设备协议规范制定及数据包设计 26

2.2.4 按照设备和数据类型进行业务树构建 30

2.2.5 按照设备的数据包状态进行解析 32

2.2.6 按照通用方式进行高并发入库 34

2.3 核心技术讲解及模块化设计 35

2.3.1 Spring Maven Web服务构建 35

2.3.2 Spring Boot微服务构建 42

2.3.3 数据包定义和实现 51

2.3.4 业务树构建和实现 62

2.3.5 数据包状态进行解析实现 79

2.3.6 按照通用方式进行高并发入库实现 90

2.3.7 客户端模拟器工具类进行高并发测试 126

2.4 项目小结 139

第3章 大数据灵活转发微服务引擎 142

3.1 核心需求分析和优秀解决方案 142

3.2 服务引擎的技术架构设计 142

3.3 核心技术讲解及模块化实现 145

3.3.1 Spring MVC Web服务构建 145

3.3.2 Spring Boot微服务构建 152

3.3.3 灵活配置和通用工具类构建 156

3.3.4 创建发送数据主题，注册观察者对象 159

3.3.5 启动多线程进行数据发送 165

3.3.6 采用Post策略模式进行数据发送 168

3.3.7 采用ActiveMQ策略模式进行数据发送 169

3.4 项目小结 173

第4章 大数据高可扩展海量存储微服务引擎 176

4.1 核心需求分析和优秀解决方案 176

4.2 服务引擎的技术架构设计 177

4.3 核心技术讲解及模块化实现 179

4.3.1 Spring MVC的工作原理及执行流程 179

4.3.2 Spring MVC Web服务构建 180

4.3.3 Spring Boot Web微服务构建 187

4.3.4 统一对外数据接收接口及通用类 191

4.3.5 MySQL对智能终端运动数据的分状态和分策略处理 203

4.3.6 MySQL对智能终端运动数据的分职责处理 210

4.3.7 MySQL对智能终端运动数据的统一入库处理 214

4.4 项目小结 228

第5章 大数据高并发海量存储微服务引擎 230

5.1 核心需求分析和优秀解决方案 230

5.2 服务引擎的技术架构设计 230

5.3 核心技术讲解及模块化实现 231

5.3.1 Spring MVC和Spring Boot集成MongoDB 232

5.3.2 MongoTemplate核心类实现Dao层接口 234

5.3.3 基于MongoDB处理智能终端运动数据 236

5.3.4 基于MongoDB管道技术处理体检数据 243

5.3.5 基于AngularJS架构可视化体检数据 264

5.4 项目小结 270

第6章 大数据高可靠海量存储微服务引擎 272

6.1 核心需求分析和优秀解决方案 272

6.2 服务引擎的技术架构设计 272

6.3 核心技术讲解及模块化实现 273

6.3.1 Hadoop完全分布式集群构建 274

6.3.2 Spring MVC和Spring Boot集成Hbase 279

6.3.3 HbaseTemplate核心类实现Dao层接口 280

6.3.4 Hbase集群的智能终端运动数据Controller接口 286

6.3.5 Hbase集群的智能终端运动数据Service接口 288

6.3.6 Hbase集群的智能终端运动数据Dao接口 292

6.4 项目小结 300

第7章 大数据实时计算微服务引擎 302

7.1 核心需求分析和优秀解决方案 302

7.2 服务引擎的技术架构设计 302

7.3 核心技术讲解及模块化实现 303

7.3.1 分布式采集服务Flume部署及数据采集 303

7.3.2 分布式消息服务Kafka部署及数据发送 305

7.3.3 创建HBase数据库和Spark环境 307

7.3.4 分布式实时处理引擎Spark Streaming原理及数据处理 308

7.3.5 构建BD RTPServer DP工程实现数据处理 309

7.3.6 构建BD RTPServer Boot服务实现可视化 318

7.4 项目小结 327

第8章 大数据智能分析微服务引擎 330

8.1 核心需求分析和优秀解决方案 330

8.2 服务引擎的技术架构设计 330

8.3 核心机器学习算法讲解和应用 331

8.3.1 逻辑回归的原理分析 331

8.3.2 支持向量机原理分析 333

8.3.3 决策树原理分析 334

8.3.4 聚类算法原理分析 336

8.3.5 关联规则算法原理分析 336

8.3.6 协同过滤原理分析 336

8.4 Spark架构原理与数据预测 337

8.4.1 YARN运行架构工作原理 339

8.4.2 Spark Mlib核心技术 341

8.4.3 Spring Maven工程构建 342

8.4.4 决策树预测体检费用 345

8.4.5 逻辑回归预测体检费用 347

8.4.6 随机森林预测体检费用 349

8.4.7 支持向量机预测疾病概率 350

8.4.8 协同过滤推荐药品 352

8.5 项目小结 353

第9章 大数据自定义迁移微服务引擎 356

9.1 核心需求分析和优秀解决方案 356

9.2 服务引擎的技术架构设计 356

9.3 核心技术讲解及模块化实现 357

9.3.1 Hadoop生态的核心组件 357

9.3.2 HBase工作原理 358

9.3.3 Sqoop工作原理 360

9.3.4 MapReduce工作原理 360

9.3.5 Sqoop抽取历史数据到HDFS 361

9.3.6 构建工程BD＿CustomTransfer＿Maven 364

9.3.7 智能终端运动数据从MySQL数据迁移到Hive 374

9.4 项目小结 377