物联网大数据 处理技术与实践PDF电子书下载

第1篇 缘起与发展趋势篇 3

第1章 物联网与产业发展 3

1.1物联网产业的发展 3

1.1.1传感器与智能硬件 4

1.1.2物联网服务平台 5

1.1.3工业4.0与CPS 5

1.2物联网与大数据 7

1.3物联网产业的机遇与挑战 9

1.3.1物联网产业面临的挑战 9

1.3.2物联网操作系统与数据库 10

1.3.3物联网大数据处理与应用 11

第2章 大数据处理技术的发展 12

2.1大数据存储和管理技术 12

2.1.1面向大数据的文件系统 13

2.1.2面向大数据的数据库系统 15

2.2大数据计算技术 19

2.2.1批处理计算模式 19

2.2.2交互式查询计算模式 20

2.2.3流处理计算模式 21

2.2.4大数据实时处理的架构：Lambda架构 23

2.3大数据分析技术 24

2.3.1传统结构化数据分析 26

2.3.2文本数据分析 26

2.3.3多媒体数据分析 27

2.3.4社交网络数据分析 27

2.3.5物联网传感数据分析 28

2.3.6大数据分析技术的发展趋势 28

第2篇 技术解析篇 31

第3章 物联网大数据技术体系 31

3.1物联网中的大数据挑战 31

3.1.1互联网大数据的特征 31

3.1.2物联网大数据的特征 34

3.2技术体系 37

3.2.1感知数据采集与传输 38

3.2.2感知数据管理与实时计算 41

3.2.3物联网平台与大数据中心 42

第4章 感知数据特性与模型 44

4.1感知数据的特性分析 44

4.1.1常用的感知数据类型 44

4.1.2感知数据的主要特征 46

4.2感知数据的表示与组织 49

4.2.1物联网数据模型 49

4.2.2时态对象模型 51

4.3感知数据库的定位 52

4.3.1感知数据库的定位 52

4.3.2感知数据库的特征 53

4.4感知数据库与传统数据库 53

4.4.1感知数据库与关系数据库 53

4.4.2感知数据库与实时数据库系统 54

4.4.3感知数据库与工厂数据库系统 55

4.4.4感知数据库与流数据处理系统 55

第5章 感知数据库管理系统 57

5.1感知数据库的总体设计 57

5.1.1总体设计的主要原则 57

5.1.2感知数据库的设计框架 58

5.2感知数据库的分布部署体系 62

5.2.1系统的集群部署模式 62

5.2.2多层级的系统部署体系 64

5.2.3服务分布的部署体系 66

5.3感知数据库中的关键技术 67

5.3.1智能设备及传感器接口技术 67

5.3.2流数据实时在线处理技术 68

5.3.3事件驱动的高效处理机制 69

5.3.4感知数据的压缩存储技术 75

第6章 实时事务调度处理技术 79

6.1常见事务特性分析 79

6.1.1感知事务 80

6.1.2触发事务 80

6.1.3用户事务 81

6.2事务调度与并发控制 81

6.2.1事务的调度方法 81

6.2.2并发控制策略 82

6.3服务器与操作系统 83

6.3.1服务器体系结构与发展 83

6.3.2操作系统的多任务机制 87

6.4事务的执行框架与模式 90

6.4.1通用系统模型与调度方法 91

6.4.2事务处理框架的设计模式 91

6.5系统框架的分析与性能优化 94

第7章 物联网大数据存储与管理 97

7.1云文件系统的关键技术 99

7.1.1 HDFS的目标和基本假设条件 99

7.1.2 HDFS体系架构 100

7.1.3性能保障 102

7.2 NoSQL数据库关键技术 106

7.2.1 NoSQL数据库概述 106

7.2.2基于NoSQL数据库的物联网大数据存储与管理 118

第8章 物联网大数据计算与分析 123

8.1物联网大数据批处理计算 123

8.1.1 MapReduce的设计思想 124

8.1.2 MapReduce的工作机制 126

8.1.3 MapReduce在物联网大数据中的应用 128

8.2物联网大数据交互式查询 130

8.2.1原生SQL on HBase 131

8.2.2 SQL on Hadoop 132

8.2.3基于HBase的交互式查询 133

8.3物联网大数据流式计算 134

8.3.1流式计算的需求特点 134

8.3.2流数据基本概念 135

8.3.3流数据查询操作 140

8.3.4流数据定制化服务 142

8.3.5评测基准 145

8.3.6 Spark Streaming及其在物联网大数据中的应用 146

8.4物联网大数据分析 150

8.4.1物联网大数据OLAP多维分析 151

8.4.2物联网大数据深层次分析 157

第3篇 产品研发篇 175

第9章 物联网网关CubeOne 175

9.1工业物联网网关 175

9.1.1 CubeOne产品概述 175

9.1.2 CubeOne功能特点 176

9.1.3 CubeOne的应用领域 178

9.2无线传感器网络网关 178

9.2.1无线传感器网络概述 178

9.2.2 ZigBee-WiFi网关 180

9.2.3 ZigBee网络应用案例 182

第10章ChinDB感知数据库系统 185

10.1ChinDB系统概述 185

10.2 ChinDB组成与功能特点 186

10.3 ChinDB数据组织管理 188

10.3.1标签点及其属性 188

10.3.2标签点的组织方式 189

10.3.3关系数据管理 190

10.3.4历史数据管理 190

10.4 ECA规则与实时计算 191

10.5 ChinDB的HA方案 192

10.5.1 HA概述及模式分类 192

10.5.2 ChinDB HA的部署模式 193

10.6物联网应用平台 195

10.6.1物联网平台概述 195

10.6.2平台主要特点 196

10.6.3应用领域与应用案例 198

第11章DeCloud物联网大数据云平台 202

11.1DeCloud组成 202

11.1.1软件概述 202

11.1.2通信服务 204

11.1.3计算服务 206

11.1.4存储服务 207

11.1.5数据发布/订阅服务 208

11.2 DeCloud在智能交通领域的应用 209

11.3 DeCloud在教育物联网云服务平台中的应用 215

11.4 DeCloud在电厂设备故障预警的应用 218

11.5 DeCloud在电梯安全监控中的应用 222

11.6 DeCloud在高精度位置服务中的应用 225

总结与展望 230

参考文献 232